Дослідження методів обробки потоків даних у Big Data

Abstract

Об'єктом дослідження є алгоритми обробки потоків даних в умовах обчислень близьких до реального часу, Big Data інфраструктура з використанням Apache Spark в хмарному середовищі. Метою роботи є дослідження алгоритмів обробки потоків даних та будови Big Data системи Spark Streaming, порівняння патернів обробки потоку даних з інкрементальними та батч підходами. Методи розробки базуються на мовах програмування Scala, Java та Python. Також використовуються наступні методи розробки: паралельні та розподілені обчислення, об'єктно-орієнтований та функціональний підхід розробки. У результаті роботи були дослідженні переваги та недоліки алгоритмів обробки потоків даних, структура системи Apache Spark з використанням хмарних обчислень в AWS.