Novelty effect — временный всплеск метрик из-за новизны интерфейса, который потом сходит; ранний «выигрыш» может исчезнуть.
Разбор
- Смотрят динамику эффекта по дням.
- Длиннее окно или holdout.
- Особенно на визуальных изменениях.
- Change aversion — зеркальный эффект привыкания.
Итог
Novelty может нарисовать ложную победу на коротком окне.