Кэширует Dataset в памяти/на диске executors, чтобы повторные actions не пересчитывали весь граф с источника. persist(StorageLevel) уточняет уровень.
Разбор
- Кэшируйте после дорогой очистки, если много downstream actions.
- Не кэшируйте всё подряд — память конечна.
unpersist освобождает.- Checkpoint режет lineage на диск надёжнее для длинных цепочек.
Итог
Cache окупается при многократном использовании одного Dataset в job.