Адаптивна система керування роботизованим маніпулятором на основі мультимодального глибокого навчання

Abstract

Об’єкт дослідження – процеси керування роботизованим маніпулятором з використанням технологій штучного інтелекту для виконання завдань у динамічному середовищі. Предмет дослідження – методи та алгоритми адаптивного керування роботизованим маніпулятором на основі мультимодального глибокого навчання з використанням візуальної інформації, кінематичних даних та текстових інструкцій. Мета роботи – дослідження та розробка системи адаптивного керування роботизованим маніпулятором, яка здатна інтерпретувати природномовні інструкції, аналізувати дані з камер та датчиків положення суглобів для автономного виконання поставлених завдань без необхідності експліцитному програмуванні послідовності дій. Методи дослідження – системний аналіз, імітаційне моделювання робототехнічних систем, глибоке навчання з підкріпленням, комп'ютерний зір, обробка природної мови, мультимодальні нейронні мережі, експериментальна перевірка алгоритмів у симуляційному середовищі з використанням фреймворку MuJoCo