Задать модели метрик (Beta-Binomial, revenue с тяжёлыми хвостами), prior, decision rule (P(A>B|data)>τ), учитывать peeking через последовательную байесовскую процедуру или симуляцию false decision rate.
Разбор
- Prior должен быть честным, не «подкрученным».
- Разные метрики — разные модели потерь.
- Сравнивайте с частым α-spending.
- Документируйте loss/regret бизнеса.
Итог
Байесовский A/B — модель + правило решения + контроль ошибок решений при peeking.