Установка Airflow на свой сервер: термины и чек-лист

Подробности, цифры, термины и чек-лист по теме «Установка Airflow на свой сервер». Страница справочника целиком: Установка Airflow на сервер.

Коротко о теме

Установка Airflow через официальный docker-compose.yaml: команда airflow-init, веб-интерфейс на порту 8080, DAG-файлы, очистка логов и Prefect.

Подробности по разделам

Сколько памяти и диска нужно Airflow

Главный фактор роста памяти это сами задачи. Задача, которая загружает таблицу в pandas, живёт в памяти воркера, и от её размера зависит, хватит ли вам 4 ГБ или нужно 8. Три ответа, и калькулятор подберёт готовую конфигурацию

Диск Airflow: логи запусков, база метаданных и копии

База метаданных тоже пухнет: очистка выполняется командой airflow db clean --clean-before-timestamp ДАТА --yes внутри контейнера планировщика. В копию кладите DAG-файлы (их место в Git), дамп PostgreSQL и ключ Fernet: без него сохранённые подключения не расшифровать. Порядок копий: сервер для бэкапов.

Prefect и Dagster вместо Airflow: когда они подходят

Для лёгких сценариев из десятка шагов иногда хватает n8n.

Ключевые цифры

Термины на странице

Apache
Apache это веб-сервер. На хостинге с ним работают файлы .htaccess.
Python
Python это язык программирования. На сервере на нём часто пишут ботов и скрипты.
n8n
n8n это программа для автоматизации: связывает сервисы сценариями без программирования.
Linux
Linux это семейство операционных систем для серверов: Ubuntu, Debian, AlmaLinux и другие.
Nextcloud
Nextcloud это облачное хранилище файлов, которое ставят на свой сервер.
Cron
Cron это планировщик задач в Linux: запускает скрипты по расписанию.
PostgreSQL
PostgreSQL это база данных для приложений с большими объёмами и сложными запросами.
Redis
Redis это хранилище данных в памяти. Его используют как кеш и очередь задач.

Что проверить

  1. Выберите конфигурацию по памяти и диску под задачу, процессор обычно вторичен.
  2. Проверьте тип виртуализации: KVM даёт свою систему и гарантированные ресурсы.
  3. Уточните, входит ли IPv4 и сколько стоит трафик сверх пакета.
  4. Храните данные контейнеров в томах.
  5. Закрепляйте версии образов, а не latest.
  6. Ограничьте ресурсы контейнеров, чтобы один не съел весь сервер.

Связанные страницы