Дослідження комбінування навчання з підкріпленням та мовних моделей для реалізації діалогових агентів - Бовдуй, Р. В. (My University, 2024)
В даній роботі розглядається варіант поєднання такої мовної моделі, як GTP-2 на базі трансформеру, та алгоритмів навчання з підкріпленням, а саме – алгоритмів з необмеженою кількістю станів та безперервним простором дій, таких, як Actor-Critic та його модифікації. В результаті досліджень вдалося побудувати архітектуру таск орієнтованої діалогової системи, яка дозволила підвищити якість відповідей. Було доведено, що офлайнове навчання з підкріпленням може успішно використовуватися у складних людських інтерактивних завданнях, таких, як діалог. Результати роботи можуть слугувати підґрунтям для створення таск-орієнтованих діалогових систем, які можуть бути успішно примінені у різноманітних галузях і затребувані у бізнесу.
Keywords: глибока нейронна мережа; діалогова система; механізм уваги; мовна модель; навчання з підкріпленням; трансформер