Fully Sharded Data Parallel хранит шарды параметров/градиентов/opt state и allgather'ит веса на время forward/backward сегмента — экономит память vs полной реплики DDP.
Разбор
- Важны wrapping policy и prefetch.
- Совместимость checkpoint/AMP настраивают явно.
- Коммуникационный overhead растёт.
- Для маленьких моделей может быть медленнее DDP.
Итог
FSDP — шардирование состояния модели для больших сетей.