Дослідження методів класифікації емоцій в медіаданих для аналізу емоційного стану користувачів

Abstract

Об’єктом дослідження є медіадані, що містять ознаки емоційних проявів (зображення облич, аудіозаписи голосу, текстові повідомлення). Предметом дослідження є методи автоматичної класифікації емоцій для аналізу емоційного стану користувачів за такими даними. Метою дослідження є порівняння сучасних моделей розпізнавання емоцій шляхом розробки й апробації програмного прототипу, який аналізує медіадані користувачів та класифікує емоційний стан із заданою точністю. Використано методи аналізу медіаданих з використанням глибоких згорткових нейронних мереж (CNN), рекурентних нейронних мереж (LSTM), CNN LSTM, CNN-Transformer, а також класичні моделі глибокого навчання, навчання з переносом та донавчання на відкритих датасетах (FER-2013, DEAP). Взаємозв’язок з іншими роботами проявляється у соціальних мережах, системах рекомендацій, дистанційне навчання, телемедичні сервіси тощо. Рекомендації щодо використання результатів роботи є є програмний комплекс придатний для класифікації емоцій у соціальних платформах, чат- ботах для психологічної підтримки, дистанційних навчальних системах, телемедичних і діагностичних додатках. Отримані алгоритми можна використовувати для поліпшення якості розпізнавання емоцій у сервісах для моніторингу емоційного здоров’я, підвищення ефективності комунікації між людиною та цифровими системами.