Перед записью repartition/coalesce под целевое число файлов ≈ партиций; target file size 128–512MB; compaction job в озере; избегать partitionBy по слишком гранулярному ключу.
Разбор
- Каждая Spark partition ≈ минимум один файл на partition path.
- Dynamic partition overwrite осторожно.
- Iceberg/Delta compaction процедуры.
- Мелкие файлы убивают NameNode/list и job planning.
Итог
Контролируйте число партиций при write и регулярно компактируйте озеро.