L2 добавляет к loss штраф λ‖w‖₂², сжимая веса к нулю и снижая variance ценой некоторого bias; эквивалентна гауссову априору на веса.
Разбор
- Не обнуляет веса полностью, а уменьшает.
- Помогает при мультиколлинеарности.
- λ подбирают по validation.
- В SGD weight decay ≈ L2 при правильной постановке.
Итог
L2 — мягкий тормоз сложности линейных/нейросетевых весов.