Driver — процесс, держащий SparkContext/Session, строит план и координирует; executors — процессы на воркерах, исполняют tasks и хранят cache данных.
Разбор
- collect тянет данные на driver — риск OOM.
- Конфиг: driver memory vs executor memory/cores.
- UI обычно на driver.
- Падение driver валит приложение.
Итог
Driver координирует; executors считают; не тащите большие результаты на driver.