Как хранить и управлять подключениями в Apache Airflow?

Подключения в Apache Airflow можно хранить и управлять несколькими способами: www.astronomer.io

• Через пользовательский интерфейс (UI). airflow.apache.org www.astronomer.io Самый распространённый способ определения подключения. www.astronomer.io Нужно перейти в раздел «Административные операции» (Admin), затем в «Подключения» (Connections) и нажать на кнопку «Добавить подключение». www.astronomer.io В форме подключения нужно выбрать тип соединения из выпадающего списка. www.astronomer.io
• С помощью переменных среды. www.astronomer.io В этом случае для аутентификации Airflow к внешнему инструменту в большинстве случаев требуются учётные данные для входа или закрытый ключ. www.astronomer.io
• Через REST API Airflow. www.astronomer.io
• С помощью системы управления секретами (secrets backend). airflow.apache.org www.astronomer.io Это система для управления секретами, внешними по отношению к Airflow. www.astronomer.io Примеры таких сервисов: HashiCorp Vault, AWS SSM Parameter Store. airflow.apache.org
• С помощью CLI Airflow. airflow.apache.org www.linode.com С его помощью можно создавать, редактировать и удалять объекты Airflow, в том числе подключения. www.linode.com

Для хранения подключений в базе данных Airflow использует шифрование паролей и других потенциально чувствительных данных с помощью Fernet. airflow.apache.org

Если одно и то же подключение определено несколькими способами, Airflow использует следующий порядок приоритета: secrets backend, Astro Environment Manager, переменные среды, база данных метаданных Airflow (UI Airflow). www.astronomer.io