Dynamic partition overwrite или запись в staging + атомарная замена (Delta/Iceberg REPLACE/MERGE; или Hive insert overwrite partition). Нужен явный partition ключ периода.
Разбор
- Full table overwrite опасен на больших таблицах.
- Concurrent writers — нужен table format с транзакциями.
- Проверяйте число партиций после job.
- Согласуйте с Airflow clear/retry.
Итог
Идемпотентность write = overwrite/merge на уровне партиции/табличного формата.