Spark нужен для огромных объёмов, сложного non-SQL processing, multi-source на озере, ML feature jobs. Чистый ELT в cloud warehouse часто закрывает dbt без Spark.
Разбор
- Не тащите Spark ради резюме.
- Стоимость кластера vs slots склада.
- Команда skills matter.
- Гибрид: Spark для heavy lift, dbt для marts.
Итог
Выбор compute = объём/сложность/навыки; склад+SQL часто проще, Spark — для тяжёлого озера.