Apache Airflow - Apache Airflow

Apache Airflow является Открытый исходный код платформа управления рабочим процессом. Это началось в Airbnb в октябре 2014 г.[1] как решение для управления все более сложными рабочими процессами компании. Создание Airflow позволило Airbnb программно создавать и планировать свои рабочие процессы и отслеживать их с помощью встроенного Airflow. пользовательский интерфейс.[2][3] С самого начала проект был сделан с открытым исходным кодом, став Инкубатор Apache в марте 2016 года и на высшем уровне Фонд программного обеспечения Apache проект в январе 2019 года.

Воздушный поток написан на Python, а рабочие процессы создаются с помощью скриптов Python. Воздушный поток разработан по принципу «конфигурация как код». В то время как другие платформы рабочего процесса «конфигурация как код» существуют с использованием таких языков разметки, как XML, использование Python позволяет разработчикам импортировать библиотеки и классы, чтобы помочь им создавать свои рабочие процессы.

Обзор

Воздушный поток использует ориентированные ациклические графы (DAG) для управления оркестровкой рабочего процесса. Задачи и зависимости определены в Python, а затем Airflow управляет планированием и выполнением. Группы DAG могут запускаться либо по определенному расписанию (например, ежечасно или ежедневно), либо на основе триггеров внешних событий (например, файл появляется в Улей[4]). Предыдущие планировщики на основе DAG, такие как Oozie и Азкабан, как правило, полагался на несколько файлы конфигурации и деревья файловой системы для создания DAG, тогда как в Airflow DAG часто можно записать в один файл Python.[5]

Управляемые провайдеры

Два известных провайдера предлагают дополнительные услуги для основного проекта с открытым исходным кодом. Астроном построил SaaS инструмент и Kubernetes -развертываемый стек Airflow, который помогает с мониторингом, предупреждениями, DevOps и управлением кластером.[6] Cloud Composer - это управляемая версия Airflow, работающая на Облачная платформа Google (GCP) и хорошо интегрируется с другими сервисами GCP.[7]

Смотрите также

использованная литература

  1. ^ "Apache Airflow". Apache Airflow. В архиве с оригинала 12 августа 2019 г.. Получено 30 сентября, 2019.
  2. ^ Бошемин, Максим (2 июня 2015 г.). «Airflow: платформа для управления рабочим процессом». Средняя. В архиве с оригинала 13 августа 2019 г.. Получено 30 сентября, 2019.
  3. ^ "Поток воздуха". В архиве с оригинала 6 июля 2019 г.. Получено 30 сентября, 2019.
  4. ^ Тренчени, Мартон (16 января 2016 г.). «Обзор воздушного потока». BytePawn. В архиве с оригинала 28 февраля 2019 г.. Получено 1 октября, 2019.
  5. ^ "AirflowProposal". Фонд программного обеспечения Apache. 28 марта 2019 г.,. Получено 1 октября, 2019.
  6. ^ Липп, Кэсси (13 июля 2018 г.). «Астроном теперь является компанией Apache Airflow». американинно. Получено 18 сентября, 2019.
  7. ^ «Google запускает Cloud Composer, новый инструмент автоматизации рабочего процесса для разработчиков». TechCrunch. Получено 2019-09-18.

внешние ссылки