SQL в файлах/шаблонах с {{ ds }}, идемпотентные statement, отдельный conn, лимит параллелизма pool, не держать длинные exclusive locks без нужды.
Разбор
- Большие трансформации — в warehouse SQL/dbt, Airflow оркестрирует.
- Автокоммит/транзакции зависят от хука.
- Логи SQL без секретов.
- Сверка rowcount после load.
Итог
SQL-операторы оркестрируют идемпотентные statement под pool и шаблоны дат.