Ограничение нормы/значения градиентов (clip_grad_norm_) стабилизирует обучение при взрывных градиентах (RNN, крупные модели).
Разбор
- Вызывают после backward, до optimizer.step.
- Слишком жёсткий clip замедляет обучение.
- С AMP используют вместе с GradScaler.
- Мониторьте grad norm в логах.
Итог
Clipping — предохранитель от взрыва градиентов.