Дослідження моделей нейронних мереж типу трансформери для семантичного та емоційного аналізу природньої мови людини

Abstract

Об’єктом дослідження є процеси семантичного та емоційного аналізу природної мови, які забезпечують розуміння змісту текстових повідомлень та їхнього контексту сучасними мовними моделями. Метою роботи є дослідження ефективності моделей нейронних мереж типу трансформери (зокрема BERT, RoBERTa та GPT) у задачах автоматизованого аналізу тексту для визначення його емоційної тональності та семантичного змісту. Методами дослідження є аналіз сучасних архітектур трансформерних моделей, побудова експериментального середовища для тестування, порівняння результатів за допомогою стандартних метрик класифікації (точність, повнота, F1-міра), а також інтерпретація отриманих результатів для різних сценаріїв використання. У результаті роботи було реалізовано та протестовано кілька моделей на основі трансформерної архітектури. Проведено порівняльний аналіз їх ефективності, що дозволило зробити висновки щодо доцільності використання таких моделей для задач емоційного та семантичного аналізу текстів у сфері автоматизованої обробки природної мови.