Проверяют данные, lr, mixed precision policy, взрыв градиентов, неверный from_logits; включают tf.debugging checks и уменьшают модель/lr.
Разбор
tf.debugging.enable_check_numerics (где доступно).- Клиппинг градиентов в custom loop.
- Проверка label ranges для sparse CE.
- Лог гистограмм весов.
Итог
NaN ищут в данных, масштабе loss и численной политике.