Сравнивают на малом графе с фиксированными весами, ослабляют nondeterministic ops, проверяют reduction order, mixed precision policy и версии cuDNN.
Разбор
- Допускают atol/rtol по dtype.
- Determinism flags там, где критично.
- Сверяют промежуточные активации.
- Не ждут bit-exact на всех ops.
Итог
Расхождения нормализуют допусками и детерминизмом, ища реальные баги.