Как объяснить bias данных (selection bias) в обучении модели?

Selection bias — тренировочная выборка не отражает целевую популяцию (только кликнувшие, только выжившие заявки). Модель оптимизирует искажённый мир.

Разбор

• Coverage анализ сегментов.
• Досбор данных / перевзвешивание.
• Политика логирования формирует bias.
• Offline метрики лгут при сильном bias.

Итог

Модель наследует смещение того, кого вы решили померить и сохранить.