Считать метрики на уровне user (aggregate), cluster bootstrap, mixed models; иначе SE занижены и «значимые» улучшения ложны.
Разбор
- Один user — один вклад в A/B.
- Взвешивание активных vs всех.
- Событийный AUC может расходиться с user-level.
- Документируйте unit of analysis.
Итог
Единица анализа должна совпадать с единицей зависимости и решения.