spark-submit указывает master, ресурсы, jars/py-files, conf и главный класс/скрипт. В managed платформах (EMR/Databricks) UI обёртки, но концепция та же.
Разбор
--executor-memory/cores, --num-executors / dynamic allocation.
- Версии зависимостей должны совпадать с cluster.
- Режим client vs cluster для driver.
- Логи driver/executor в UI/history server.
Итог
spark-submit (или аналог платформы) запускает app с ресурсами и зависимостями.