Дослідження моделей класифікації об'єктів на основі мультимодальних даних

Abstract

Об’єкт дослідження – процес класифікації об'єктів на мультимодальних даних, які поєднують зображення та елементи текстових описів. Предмет дослідження – методи класифікації об’єктів на основі зображень та текстових описів. Мета роботи – дослідження та порівняння сучасних підходів до мультимодальної класифікації товарів, зокрема ансамблевих архітектур та трансформерних моделей зі спільним простором ознак, а також створення комбінованого датасету, адаптованого до українського ринку. Методи дослідження – теоретичний аналіз (огляд літератури, класифікація існуючих підходів), експериментальний (побудова моделей, формування датасету, оцінка точності), емпіричний (аналіз ефективності підходів у різних сценаріях). У результаті роботи проведено огляд наявних датасетів та мультимодальних моделей, сформовано комбінований датасет із урахуванням специфіки українського ринку. Реалізовано два підходи до класифікації: класичне ансамблеве поєднання спеціалізованих моделей та трансформерну архітектуру зі спільним простором ознак. Експериментальна оцінка продемонструвала переваги мультимодального підходу в задачах із нечіткими або неоднозначними вхідними даними. Запропоновано рекомендації щодо вибору архітектур залежно від ресурсів та бізнес-вимог.