A/B-тест — эксперимент, где случайно делят пользователей на контроль (A) и вариант (B), чтобы сравнить влияние изменения на заранее выбранную метрику.
Разбор
- Случайность assignment критична.
- Один primary success metric лучше десятка «посмотрим».
- Сравнивают сопоставимые периоды/условия.
- Цель — причинность, не просто корреляция в аналитике.
Итог
A/B даёт причинную оценку эффекта изменения при корректном дизайне.