Модель адаптивної мультиагентної системи для динамічної кооперації та конкуренції в ігровому середовищі, що ґрунтується на принципах MARL

Abstract

Об’єктом дослідження є мультиагентні системи навчання з підкріпленням у частково спостережуваних динамічних середовищах. Предметом дослідження є методи та моделі адаптивної поведінки агентів, які забезпечують динамічний перехід між кооперацією і конкуренцією в єдиному ігровому середовищі. Мета роботи полягає в розробці та дослідженні моделі адаптивного мультиагентного навчання з підкріпленням, здатної автоматично змінювати ступінь кооперативної або конкурентної поведінки агентів залежно від поточного стану середовища, доступних ресурсів і спостережуваної поведінки інших агентів. Методами дослідження є аналіз наукової літератури, порівняльний аналіз існуючих MARL-підходів, моделювання мультиагентного середовища, проектування та реалізація нейромережевої архітектури, навчання моделей і обробка результатів. Результатом дослідження є розроблене оригінальне ігрове середовище Adaptive Coopetition Gridworld, програмна реалізація п’яти архітектурних варіантів агента у рамках єдиного класу через незалежні архітектурні прапорці, а також систематичне абляційне дослідження. Робота уточнює умови застосовності контекстних механізмів у MARL та має методологічну цінність як приклад мульти-сидового абляційного дослідження з виявленою пізньої фазовою збіжністю.