В batch: checkpoint рвёт lineage, сохраняя RDD на надёжное хранилище. В streaming: checkpoint директория хранит offsets/состояние запроса для восстановления.
Разбор
- Без streaming checkpoint повторный старт может дублировать/потерять прогресс.
- Размещайте на durable HDFS/S3.
- LocalCheckpoint — быстрее, но слабее durability.
- Не путать cache и checkpoint.
Итог
Checkpoint сохраняет прогресс/состояние надёжно и укорачивает lineage.