Інтелектуальне балансування навантаження в мікросервісній архітектурі за допомогою паралельної маршрутизації запитів

Abstract

У роботі розглянуто підхід до інтелектуального балансування навантаження в мікросервісних архітектурах з використанням паралельної маршрутизації (hedging) та алгоритмів машинного навчання класу багаторукого бандита (Multi Armed Bandit, MAB). Запропоновано архітектуру, яка поєднує модульний балансувальник навантаження (реалізований на Python із FastAPI), шлюз із підтримкою паралельної маршрутизації (YARP), а також систему моніторингу на основі Prometheus і Grafana. Проведено експериментальне дослідження ефективності різних стратегій маршрутизації на прикладі симульованого кластера мікросервісів за ключовими метриками продуктивності: затримкою (latency), відсотком помилок (error rate), пропускною здатністю (throughput), використанням CPU. Результати показали, що використання інтелектуального балансування на основі MAB у поєднанні з паралельною маршрутизацією дозволяє суттєво зменшити хвостову затримку (P99), стабілізувати якість обслуговування й підвищити надійність системи навіть у гетерогенних і нестабільних середовищах. Підкреслено можливість масштабування прототипу до Kubernetes та простоту впровадження у сучасні хмарні екосистеми.