API распределения: MirroredStrategy, MultiWorkerMirrored, TPUStrategy и др. реплицируют вычисления и агрегируют градиенты.
Разбор
- Создание модели/оптимизатора — внутри
strategy.scope().
- Глобальный batch = per_replica * replicas.
- tf.data
.batch с учётом replica.
- Кастомный loop —
strategy.run.
Итог
Strategy абстрагирует data parallel обучение на нескольких устройствах.