Двойная нормализация искажает градиенты и ухудшает численную устойчивость; API ожидает logits.
Разбор
- Accuracy считают argmax по logits.
- Для вероятностей Softmax только на inference.
- Аналог — sigmoid до BCE вместо BCEWithLogits.
- Юнит-тест формы выхода модели ловит такие ошибки.
Итог
Loss со встроенным log-softmax требует сырых logits.