Дослідження швидкодії, можливостей та вартості системи Data Lake в залежності від різних постачальників хмарних сервісів

Abstract

Об’єктом аналізу та дослідження є система розгортання Озера Даних. Метою роботи є створення системи автоматичного розгортання систем Озера Даних з використанням постачальника хмарних послуг AWS, AZURE та GCP. Озеро Даних – це архітектура для зберігання даних будь-якого формату у необмежених кількостях, з можливістю пошуку цих даних по метаданим, а також подальшою їх обробкою. У результаті роботи було створено таку систему з використанням кращих практик мікросервісної архітектури, використанням таких технологій, як Terraform, Kubernetes, Python, MongoDB, FastAPI, та зроблено висновки стосовно роботи цієї системи, та потенційного розвитку.