Tungsten — слой исполнения: off-heap memory management, code generation (whole-stage codegen), компактный формат строк — ускоряет физические операторы Catalyst.
Разбор
- Вместе с Catalyst даёт скорость DataFrame vs наивный RDD Python.
- WholeStageCodegen видно в explain.
- Не путать с форматом хранения Parquet.
- Ограничения на очень широкие строки/сложные выражения.
Итог
Tungsten ускоряет физическое исполнение оптимизированных планов.