Дослідження можливостей сучасних оркестраторів завдань, для роботи із задачами обробки великих даних

Abstract

Об’єктом дослідження є найпопулярніші оркестратори завдань, такі як Apache Airflow, Apache Luigi, Amazon Step Functions та Azure Data Factory. Метою роботи є дослідження та аналіз існуючих оркестраторів завдань, для роботи із задачами обробки великих даних, їх порівняння та визначення вимог до оркестраторів задач. Методи розробки базуються на технологіях хмарних обчислень, у разі Amazon Step Functions та Azure Data Factory та мові Python, для використання із Apache Airflow та Luigi. В результаті роботи досліджено існуючі рішення для оркестрації задач та побудови пайплайнів обробки даних. Було проведено порівняння існуючих оркестраторів, їх можливостей, їх архітектури та істотних принципів їх роботи