SparkSession — единая точка входа API (с Spark 2+): создание DataFrame, SQL, конфиг, доступ к catalog. Заменяет раздельные SQLContext/HiveContext для большинства задач.
Разбор
SparkSession.builder.appName(...).getOrCreate().- В PySpark shell/session уже есть
spark.
- Конфиги:
spark.conf.set / spark-submit --conf.
- Один session на приложение обычно.
Итог
SparkSession — главный entrypoint к DataFrame/SQL API.