Inductive bias — априорные предпочтения модели о виде решения: линейность логрега, локальные сплиты деревьев, свёртки для изображений, attention для последовательностей. Без bias обучение из конечных данных невозможно.
Разбор
- Сильный неверный bias → systematic underfit.
- Слабый bias + малый n → overfit.
- Выбор семейства моделей = выбор bias.
- Доменные ограничения (монотонность) — полезный bias.
Итог
Inductive bias — какие гипотезы алгоритм считает правдоподобными заранее.