Покращення прозорості процесу прийняття рішень у моделях на базі трансформера в задачах динамічного розпізнавання виразів обличчя в реальних умовах

Abstract

Об’єкт дослідження – системи розпізнавання виразів обличчя в умовах реального світу. Предмет дослідження – методи покращення точності та пояснюваності моделей розпізнавання емоцій на основі графових і трансформерних архітектур. Мета роботи – розробити інтерпретовану модель розпізнавання виразів обличчя з використанням Spatio-Temporal Graph Transformer та інтегрувати її з системою емоційно-залежного синтезу мовлення Llasa. Методи дослідження – методи комп’ютерного зору, графових нейронних мереж, трансформерних моделей, а також підходи пояснювального ШІ для візуалізації важливих ознак і рішень моделі. У роботі розроблено модель Spatio-Temporal Graph Transformer для розпізнавання емоцій у відео на основі орієнтирів обличчя. Реалізовано обробку просторово-часових даних та інтегровано XAI-методи (Grad-CAM, attention attribution), що підвищують інтерпретованість. Проведено експерименти на послідовностях різної довжини. Результати демонструють високу точність і прозорість моделі.