Компромисс: слишком малый val — шумные метрики и плохой тюнинг; слишком большой — слабый train. Часто CV с малым k, nested при агрессивном поиске, байесовские prior на метрики, semi-supervised если уместно.
Разбор
- Повторяемые CV снижают дисперсию оценки.
- Бутстрэп CI метрики.
- Упростить пространство гиперпараметров.
- Добыча данных иногда дешевле сложного CV.
Итог
При малом n берегите данные схемой CV и узким поиском, а не одним крошечным val.