Смотрят кривую эффекта во времени, при необходимости удлиняют, исключают первые дни в secondary анализе или используют long-term holdout.
Разбор
- UI-редизайны особенно чувствительны.
- Не путать novelty с weekly seasonality.
- Сегмент новых vs старых пользователей.
- Решение ship с планом мониторинга post.
Итог
Динамика эффекта во времени отделяет novelty от устойчивого выигрыша.