Мікросервісна архітектура системи потокової обробки великих даних

Abstract

Розглянуто можливі шляхи використання мікросервісної архітектури у системах потокової обробки великих даних. Досліджено переваги і недоліки існуючих архітектур аналізу великих даних. Запропоновано варіант системи мікросервісної обробки великих даних з використанням розподіленої потокової платформи подій Kafka, платформи розробки та запуску програм Docker, об'єктно-реляційної системи управління базами даних Postgres, а також веб-платформи для створення додатків FastAPI. Розроблено архітектурні шаблони, які можуть спростити розробку застосунків для обробки великих даних з використанням мікросервісів, та концепти програм з використанням отриманих шаблонів. Наведено результати моделювання, які свідчать про те, що мікросервісна архітектура з розподіленим навантаженням на декілька реплік може забезпечити кращу масштабованість і швидкодію в порівнянні з монолітною архітектурою