Параметры учит алгоритм из данных (веса); гиперпараметры задают до обучения (глубина, λ, learning rate) и выбирают по validation/CV.
Разбор
- Grid/random/Bayesian search — стратегии перебора.
- Слишком широкий поиск на том же test — утечка выбора.
- Документируйте найденные значения.
- Дефолты библиотек — разумная стартовая точка.
Итог
Гиперпараметры — ручки модели; параметры — то, что она выучила.