SRM — ситуация, когда фактическая доля пользователей в вариантах статистически отклоняется от запланированной (например 50/50), сигнал бага assignment/логирования.
Разбор
- При SRM результаты обычно нельзя доверять.
- Проверяют SRM в первую очередь.
- Причины: боты, ошибки bucketing, фильтры.
- Останавливают анализ до починки.
Итог
SRM — красный флаг качества эксперимента; сначала чинят, потом выводы.