Модуль выполнения SQL/HiveQL поверх тех же Dataset: spark.sql(...), временные views, metastore/catalog. Удобен аналитикам и для сложных запросов.
Разбор
createOrReplaceTempView + SQL.- Совместим с DataFrame API в одном job.
- Warehouse catalog: Hive/Glue/Unity и т.д.
- SQL тоже ленивый до action.
Итог
Spark SQL — SQL-интерфейс к тому же движку и оптимизатору.