Ищите AUC≈1.0, фичи с нереальной важностью, «будущие» timestamps, target encodings без CV, пересечение id между train/test, препроцесс fit на всём. Adversarial validation и аудит схемы данных.
Разбор
- Проверка: удалили подозрительную фичу — качество рухнуло с небес на землю.
- Сравнение offline vs shadow online.
- Код-ревью пайплайна важнее ещё одного алгоритма.
- Unit-тесты на «не использовать колонки после cutoff».
Итог
Leakage ищут скептицизмом к слишком красивым метрикам и аудитом времени/join'ов.