Реплики модели на каждом GPU одного хоста; градиенты all-reduce (NCCL), переменные зеркалятся.
Разбор
- Простейший multi-GPU в одном узле.
- Batch делится между репликами.
- BN поведение зависит от настроек/синхронизации.
- Для multi-node — MultiWorker.
Итог
MirroredStrategy — data parallel на нескольких GPU одной машины.