Нейромережеві методи мультимодальної просторово семантичної сегментації за нечітким запитом

Abstract

Дисертаційну роботу присвячено розробці методів та моделей мультимодальної сегментації зображень за текстовим запитом довільної форми з можливістю виділення окремих екземплярів об’єктів на основі архітектурних модифікацій нейронних мереж та удосконалених алгоритмів постобробки. Стрімке зростання обсягів мультимедійної інформації висуває нові вимоги до методів її автоматизованої обробки та аналізу. Серед ключових напрямів такої обробки особливе місце посідає сегментація зображень як фундаментальна задача комп’ютерного зору, що полягає у розбитті зображення на семантично однорідні регіони. Класичні методи сегментації, що базуються на фіксованому наборі класів (closed set), демонструють високу ефективність на стандартних еталонних наборах даних, проте їх застосування в реальних умовах суттєво обмежене архітектурною залежністю від попередньо визначених категорій об’єктів. Метою дисертаційної роботи алгоритмів мультимодальної просторово є розробка моделей, методів та семантичної сегментації за нечітким запитом на основі модифікації архітектур глибокого навчання для підвищення ефективності виділення екземплярів об’єктів у режимі open-vocabulary.