Как считать глобальные метрики при `tf.distribute`?

Метрики Keras внутри strategy обычно синхронизируются; в custom loop делают strategy.reduce сумм/счётчиков или Metric с правильным merge.

Разбор

• Не усредняйте уже усреднённые replica metrics без весов.
• Логирует обычно chief.
• Sample weights усложняют reduce.
• Тест на 1 vs N GPU паритет метрик.

Итог

Глобальные метрики = корректный reduce счётчиков по репликам.