Меньший learning rate обычно требует больше деревьев; подбирают пару (lr, n_estimators) с early stopping на val. Слишком большой lr — нестабильность; слишком малый — долго и риск underfit при малом n_estimators.
Разбор
- Сначала грубая сетка, потом уточнение.
- Регуляризация leaf/subsample взаимодействует с lr.
- Не раздувайте n_estimators на test.
- Фиксируйте seed для сравнения.
Итог
Скорость шага и длина бустинга — связанные ручки под val early stop.