Публікація: Дослідження методів обробки потоків даних у Big Data
Завантаження...
Дата
2019
Автори
Назва журналу
ISSN журналу
Назва тома
Видавництво
Анотація
Об'єктом дослідження є алгоритми обробки потоків даних в умовах
обчислень близьких до реального часу, Big Data інфраструктура з використанням
Apache Spark в хмарному середовищі. Метою роботи є дослідження алгоритмів обробки потоків даних та будови Big Data системи Spark Streaming, порівняння патернів обробки потоку даних з інкрементальними та батч підходами.
Методи розробки базуються на мовах програмування Scala, Java та Python.
Також використовуються наступні методи розробки: паралельні та розподілені
обчислення, об'єктно-орієнтований та функціональний підхід розробки.
У результаті роботи були дослідженні переваги та недоліки алгоритмів
обробки потоків даних, структура системи Apache Spark з використанням хмарних обчислень в AWS.
Опис
Ключові слова
великі дані, обчислення близькі до реального часу, хмарни обчислення, hadoop, apache spark, spark streaming, scala, java, amazon web services
Бібліографічний опис
Рукавиця А. С. Дослідження методів обробки потоків даних у Big Data : пояснювальна записка до атестаційної роботи здобувача вищої освіти на другому (магістерському) рівні, спеціальність 121- Інженерія програмного забезпечення / А. С. Рукавиця ; М-во освіти і науки України, Харків. нац. ун-т радіоелектроніки. – Харків, 2019. – 82 с.