Гарантируют одинаковое число collective/алгебраических шагов на каждом воркере, синхронные условия ветвлений, барьеры перед I/O и единый размер эпох.
Разбор
- Нельзя логировать/сохранять только на части рангов без условий.
- Разный drop_remainder ломает шаги.
- Таймауты NCCL/gRPC помогают диагностике.
- Тест на 2 GPU/2 worker обязателен.
Итог
Рассинхрон control flow между воркерами — главная причина hangs.