Публікація: Дослідження можливостей сучасних оркестраторів завдань, для роботи із задачами обробки великих даних
Завантаження...
Дата
2021
Автори
Назва журналу
ISSN журналу
Назва тома
Видавництво
Анотація
Об’єктом дослідження є найпопулярніші оркестратори завдань, такі як
Apache Airflow, Apache Luigi, Amazon Step Functions та Azure Data Factory.
Метою роботи є дослідження та аналіз існуючих оркестраторів завдань, для
роботи із задачами обробки великих даних, їх порівняння та визначення вимог до
оркестраторів задач.
Методи розробки базуються на технологіях хмарних обчислень, у разі
Amazon Step Functions та Azure Data Factory та мові Python, для використання із
Apache Airflow та Luigi.
В результаті роботи досліджено існуючі рішення для оркестрації задач та
побудови пайплайнів обробки даних. Було проведено порівняння існуючих
оркестраторів, їх можливостей, їх архітектури та істотних принципів їх роботи
Опис
Ключові слова
оркестрація задач, великі дані, оркестратори, хмарні обчислення, Apache Airflow, Apache Luigi, Amazon Step Function, Azure Data Factory
Бібліографічний опис
Зініч О. Є. Дослідження можливостей сучасних оркестраторів завдань, для роботи із задачами обробки великих даних : пояснювальна записка до атестаційної роботи здобувача вищої освіти на другому (магістерському) рівні, спеціальність 121 — Інженерфя програмного забезпечення / О. Є. Зініч ; М-во освіти і науки України, Харків. нац. ун-т радіоелектроніки. – Харків, 2021. – 59 с.