Проверяют входные данные, lr, AMP scale, взрыв градиентов, деление на ноль в кастом loss; бинарным поиском по слоям/detect_anomaly.
Разбор
torch.autograd.set_detect_anomaly(True) медленный, но локализует.- Клип градиентов и меньший lr — первые пробы.
- Лог min/max активаций.
- Гнилые лейблы/нормализация фич — частая причина.
Итог
NaN — сигнал численной нестабильности; ищут слой и гиперпараметры.