Scheduler часто парсит файлы: top-level network/DB/spark замедляет scheduling всего кластера и даёт флапающие import errors. В модуле оставляют определения, работу — внутри operators/callables.
Разбор
- Даже Variable.get на top-level спорно при частых parse.
- Выносите shared code так, чтобы import был дешёвым.
- Метрики parse time — сигнал проблем.
- Динамические DAG генерируйте осторожно.
Итог
Parse path должен быть лёгким; side effects — только в runtime task.
Airflow · middle · сложность 4