Overfitting — модель слишком хорошо подстраивается под train (включая шум) и плохо обобщается на новые данные. Симптом: большой разрыв train/val ошибки.
Разбор
- Снижают ёмкость, добавляют регуляризацию, данные, early stopping.
- Утечка маскируется под «идеальный» val.
- Сложность модели должна соответствовать n и шуму.
- Ансамбли и dropout — практические средства.
Итог
Побеждает обобщение, а не идеальный score на обучении.