NCCL — библиотека коллективных коммуникаций NVIDIA для multi-GPU/node; hangs часто из-за рассинхрона рангов, сети или неравного числа collective calls.
Разбор
NCCL_DEBUG=INFO для диагностики.- Проверяйте одинаковый граф collectives на каждом шаге.
- Timeout env vars помогают не ждать вечно.
- Смешение CUDA_VISIBLE_DEVICES между рангами — классика.
Итог
NCCL hangs = почти всегда рассинхрон коллективов или сеть.