A/B — рандомизированный эксперимент: случайное назначение варианта снижает confounding, оценка эффекта — контраст метрик с CI/тестом и контролем ошибок.
Разбор
- Единица рандомизации (user/session) должна совпасть с анализом.
- SRM (sample ratio mismatch) — красный флаг.
- Peeking без коррекций раздувает FP.
- Сегменты — вторичный анализ с осторожностью.
Итог
Рандомизация даёт причинную интерпретацию разницы вариантов.