Для фиксированной точки x: E[(y−ŷ)²]=bias²(ŷ)+Var(ŷ)+σ², где σ² — неустранимый шум. Разложение помогает диагностировать under/overfitting.
Разбор
- Кросс-валидация оценивает суммарную ошибку, не части по отдельности.
- Ансамбли снижают variance у нестабильных моделей.
- Усложнение модели часто режет bias, растит variance.
- Шум меток — потолок качества.
Итог
Тюнинг — торговля bias за variance под валидационную ошибку.