Інформаційна технологія класифікації емоцій за аудіозаписами на основі нейронної мережі CNN

Abstract

Об’єкт дослідження – методи цифрового кодування, виділення ознак та класифікації акустичних сигналів. Предмет дослідження – метод та інформаційна технологія розпізнавання емоцій за голосом людини на основі глибинного навчання для Edge AI систем. Мета роботи – вдосконалення процесу автоматичного аналізу емоційного стану людини на основі аудіоданих на пристроях з обмеженими обчислювальними ресурсами. Методи дослідження – загальнонаукові (аналіз і синтез, порівняння, абстрагування, моделювання); конкретнонаукові (методи обробки сигналів, виділення ознак, архітектурне та алгоритмічне моделювання, методи обробки «великих даних», методи машинного навчання, експеримент), елементи теорії множин і розпізнавання образів. В роботі проаналізовано принципи цифрового кодування аудіоданих, методи виділення ознак та класифікації для задачі розпізнавання емоційних станів за голосом людини. Розроблено удосконалений метод розпізнавання емоцій з використанням спектрограм та глибоких згорткових мереж. Сформовано експериментальний набір даних, проведено апробацію модифікованих моделей на основі популярних згорткових архітектур. Для найбільш ефективної моделі здійснено додаткову архітектурну оптимізацію та квантування з огляду на використання в Edge AI пристроях.