Методи та засоби автоматизації процесів обробки великих даних - Залеський, В. Д. (My University, 2024)
Метою кваліфікаційної роботи є оптимізація конвеєрів обробки великих даних. У ході виконання кваліфікаційної роботи були розглянуті сучасні інструменти оркестрування даних і побудудован автоматизований процесс обробки даних для експериментальної аналітичної системи з використанням деяких з розглянутих інструментів. Об’єктом дослідження є інженерія великих даних. Предметом дослідження є оркестрування даних. Завдання: визначення методів підвищення продуктивності обробки великих даних; визначення засобів покращення оркестрування великих даних; розробка експериментальної аналітичної системи з оптимізованими методами обробки і засобами оркестрування даних.
Methods and Tools for Automating Big Data Processing
Keywords: оркестрування даних; конвеєр обробки даних; сховище даних; SPARK