Сохраняют CPU state_dict (или явный map), фиксируют версии torch/cuda, сиды, git sha, конфиг; при load используют map_location и проверку ключей.
Разбор
- Оптимизатор на другом world_size не всегда переносится.
- RNG state CPU/CUDA сохраняют отдельно при необходимости.
- BF16/FP16 веса документируют.
- Интеграционный тест load→forward на CPU CI.
Итог
Воспроизводимость = артефакт + окружение + явный map_location.