Catalyst — оптимизатор запросов Spark SQL/DataFrame: анализ логического плана, правила упрощения, физический план (join strategy, filter pushdown).
Разбор
- Работает на выражениях DataFrame/SQL, не на произвольном RDD map.
explain(True) показывает parsed/analyzed/optimized/physical.- Cost-based optimization (CBO) использует статистики таблиц.
- UDF часто «чёрный ящик» для оптимизатора.
Итог
Catalyst оптимизирует декларативный план DataFrame/SQL до физического исполнения.