Обеспечивают стабильные assignment/exposure, достаточную чувствительность метрик, cuped/variance reduction, guardrails и каталог стандартных primary metrics.
Разбор
- Шумные метрики убивают мощность.
- Предрегистрация primary.
- Долгосрочные holdouts для novelty.
- Платформенные стандарты.
Итог
Эксперименты требуют метрик с мощностью, стабильностью и дисциплиной primary.