Table formats дают ACID, TIME TRAVEL, schema evolution, concurrent write на файловом озере; Spark читает/пишет через соответствующие каталоги и session extensions.
Разбор
- MERGE INTO для upsert.
- Оптимизация/compaction — отдельные команды.
- Метаданные в catalog (Hive/Glue/Nessie/Unity).
- Выбирайте формат стандартом платформы.
Итог
Delta/Iceberg добавляют транзакционность и эволюцию схемы поверх Spark+файлов.