Dynamic allocation добавляет/убирает executors по нагрузке очереди tasks; нужен external shuffle service для снятия executors без потери shuffle файлов.
Разбор
- min/max executors ограничивают cost.
- На K8s — свой механизм scaling.
- Короткие job могут не успеть отскейлиться.
- Согласуйте с квотами YARN/K8s.
Итог
Dynamic allocation экономит ресурсы при переменной нагрузке при наличии shuffle service.