Чем отличается архитектура Apache Airflow от классических ETL-систем?

Архитектура Apache Airflow отличается от классических ETL-систем тем, что это не инструмент для извлечения и загрузки данных, а оркестратор. 35 Он не выполняет тяжёлую работу по перекладке и обработке данных, а говорит другим системам и фреймворкам, что делать, и следит за статусом выполнения. 5

Некоторые другие отличия архитектуры Airflow:

• Динамическое генерация конвейера. 1 С помощью кода на Python можно программно настраивать рабочие процессы на основе внешних параметров или наборов данных. 1
• Масштабируемость. 24 Распределённая архитектура позволяет обрабатывать большое количество задач на нескольких рабочих местах. 1
• Возможность кастомизации. 15 Есть возможность настроить собственные операторы и интегрировать систему с множеством технологий. 12