Airflow — платформа оркестрации batch/data workflow: вы описываете пайплайны как код (DAG), планируете запуски и мониторите выполнение с ретраями и зависимостями между задачами.
Разбор
- Не хранит данные сам — запускает операторы (SQL, Spark, Python, Bash, облачные API).
- Сильная сторона — зависимости, расписание, UI, алертинг.
- Плохо подходит как замена очереди реального времени (для этого Kafka/Flink).
- Версии 2.x: TaskFlow API, улучшенный scheduler, провайдеры.
Итог
Airflow оркестрирует пайплайны как код: schedule + зависимости + retries + observability.
Airflow · junior · сложность 1