Проксимальный шаг для L1 сдвигает координаты к нулю на величину порога и обнуляет малые |w|: это closed-form soft-threshold. Объясняет sparsity Lasso.
Разбор
- Связано с субградиентом |·|.
- Coordinate descent эффективно для Lasso.
- Порог связан с λ и шагом.
- Elastic Net меняет проксимальный оператор.
Итог
Soft-threshold — геометрическая причина нулей в L1.