Смотрят GPU idle в профайлере, утилизацию workers, диск, contention на shared filesystem; тюнят workers/prefetch, кэшируют декод, переносят аугментации.
Разбор
- NFS home для картинок — частый антипаттерн.
- Слишком много workers на много GPU перегружают CPU.
- Один worker на GPU как старт для тюнинга.
- Iterable dataset + sharding для потоков.
Итог
Data bottleneck виден как idle GPU при занятом CPU/диске.