Публікація:
Дослідження можливостей сучасних оркестраторів завдань, для роботи із задачами обробки великих даних

Завантаження...
Зображення мініатюри

Дата

2021

Назва журналу

ISSN журналу

Назва тома

Видавництво

Дослідницькі проекти

Організаційні підрозділи

Видання журналу

Анотація

Об’єктом дослідження є найпопулярніші оркестратори завдань, такі як Apache Airflow, Apache Luigi, Amazon Step Functions та Azure Data Factory. Метою роботи є дослідження та аналіз існуючих оркестраторів завдань, для роботи із задачами обробки великих даних, їх порівняння та визначення вимог до оркестраторів задач. Методи розробки базуються на технологіях хмарних обчислень, у разі Amazon Step Functions та Azure Data Factory та мові Python, для використання із Apache Airflow та Luigi. В результаті роботи досліджено існуючі рішення для оркестрації задач та побудови пайплайнів обробки даних. Було проведено порівняння існуючих оркестраторів, їх можливостей, їх архітектури та істотних принципів їх роботи

Опис

Ключові слова

оркестрація задач, великі дані, оркестратори, хмарні обчислення, Apache Airflow, Apache Luigi, Amazon Step Function, Azure Data Factory

Бібліографічний опис

Зініч О. Є. Дослідження можливостей сучасних оркестраторів завдань, для роботи із задачами обробки великих даних : пояснювальна записка до атестаційної роботи здобувача вищої освіти на другому (магістерському) рівні, спеціальність 121 — Інженерфя програмного забезпечення / О. Є. Зініч ; М-во освіти і науки України, Харків. нац. ун-т радіоелектроніки. – Харків, 2021. – 59 с.

DOI