K-fold делит данные на k частей: по очереди одна — валидация, остальные — train; метрики усредняют. Снижает зависимость от одного сплита.
Разбор
- Stratified fold сохраняет доли классов.
- GroupKFold — по пользователям.
- TimeSeriesSplit — по времени.
- Тюнинг на CV без nested — слегка оптимистичен.
Итог
CV — дисциплина повторной честной проверки на разных кусках данных.