Публікація:
Дослідження методів обробки потоків даних у Big Data

Завантаження...
Зображення мініатюри

Дата

2019

Назва журналу

ISSN журналу

Назва тома

Видавництво

Дослідницькі проекти

Організаційні підрозділи

Видання журналу

Анотація

Об'єктом дослідження є алгоритми обробки потоків даних в умовах обчислень близьких до реального часу, Big Data інфраструктура з використанням Apache Spark в хмарному середовищі. Метою роботи є дослідження алгоритмів обробки потоків даних та будови Big Data системи Spark Streaming, порівняння патернів обробки потоку даних з інкрементальними та батч підходами. Методи розробки базуються на мовах програмування Scala, Java та Python. Також використовуються наступні методи розробки: паралельні та розподілені обчислення, об'єктно-орієнтований та функціональний підхід розробки. У результаті роботи були дослідженні переваги та недоліки алгоритмів обробки потоків даних, структура системи Apache Spark з використанням хмарних обчислень в AWS.

Опис

Ключові слова

великі дані, обчислення близькі до реального часу, хмарни обчислення, hadoop, apache spark, spark streaming, scala, java, amazon web services

Бібліографічний опис

Рукавиця А. С. Дослідження методів обробки потоків даних у Big Data : пояснювальна записка до атестаційної роботи здобувача вищої освіти на другому (магістерському) рівні, спеціальність 121- Інженерія програмного забезпечення / А. С. Рукавиця ; М-во освіти і науки України, Харків. нац. ун-т радіоелектроніки. – Харків, 2019. – 82 с.

DOI