Записать в object storage/таблицу в upstream, в XCom положить URI; downstream читает по пути. Не сериализовать dataframe в метаданные БД.
Разбор
- Согласуйте naming: s3://bucket/dag_id/ds/task/…
- Чистите временные объекты lifecycle policy.
- Версионируйте формат файла (parquet schema).
- Права IAM на пути минимальные.
Итог
Большие данные — через внешнее хранилище; XCom только указатель.
