Подбирают метод под стоимость ошибки: ранние качественные и малые тесты для направления; строгие A/B — когда цена неверного ship высока.
Разбор
- Overfitting к p-value на крошечном трафике вреден.
- Bayesian/sequential — позже в зрелости.
- Документируют уровень уверенности.
- Скорость обучения — тоже KPI.
Итог
Строгость метода пропорциональна цене ошибки решения.