Значимость оценивает, насколько наблюдаемая разница могла появиться случайно при отсутствии эффекта; обычно через p-value или совместимые интервалы.
Разбор
- Значимость ≠ важность для бизнеса.
- Порог (часто 0.05) — соглашение, не магия.
- Малый эффект может быть значим на огромной выборке.
- Смотрят и практическую величину эффекта.
Итог
Значимость про случайность; решение всё равно требует величины эффекта.