Holdout — отложенная часть данных, не используемая в обучении текущей модели; может быть val или финальный test. Главное — не «подглядывать» многократно без учёта.
Разбор
- Один и тот же holdout после 100 попыток перестаёт быть честным.
- Иногда два holdout: val и test.
- Стратификация при дисбалансе.
- Размер holdout — компромисс стабильности метрики и train n.
Итог
Holdout — дисциплина отложенной проверки качества.