Дослідження методів виявлення дипфейків у зображеннях та відео для верифікації особи

Abstract

Об’єктом дослідження є зображення та відео з обличчями користувачів у задачах віддаленої верифікації особи (KYC/доступ). Предмет дослідження є методи й моделі виявлення дипфейків у кадрах та їхня часова агрегація до єдиного відеорішення з керованим балансом помилок FAR/FRR Метою дослідження є підвищення надійності відеоверифікації особи шляхом розроблення і обґрунтування двох комплементарних підходів – гібридного кадрового детектора «простір+частота» та часової агрегації на рівні ролика. Проведено огляд сучасних рішень deepfake-детекції. Сформовано частотно-просторові ознаки (2D-DCT/FFT із глобальними та локальними статистиками енергії) та просторові CNN-ембеддинги. Наукова новизна роботи полягає у поєднанні частотних і просторових дескрипторів для кадрової детекції та у введенні узгодженої політики часової агрегації. Взаємозв’язок з іншими роботами полягає у тому, що розробка спирається на публічні датасети та огляди з дипфейків і PAD/FAS.