CUPED использует pre-experiment ковариаты для снижения дисперсии метрики, повышая мощность без удлинения теста.
Разбор
- Нужны исторические данные пользователя.
- Не смешивают post-treatment covariates неверно.
- Платформенная реализация предпочтительнее ручной магии.
- Эффект на мощность существенный при коррелированных pre-metrics.
Итог
Variance reduction даёт ту же чувствительность на меньшем N.