Отбор внутри CV (wrapper с OOF), штрафы L1, стабильность отбора по бутстрэпу, ограничение числа тестов, holdout подтверждение. Отбор на всём train+test — путь к иллюзии.
Разбор
- Filter методы (MI) быстрее, но грубее.
- Рекурсивный elimination дорог.
- Доменный whitelist иногда лучше автоотбора.
- Документируйте пространство поиска.
Итог
Отбор признаков — часть обучения; валидируйте его так же строго.