Розробка та дослідження методів зіставлення товарних пропозицій для сервісів-агрегаторів на основі аналізу мультимодальної інформації

Abstract

Об’єктом дослідження є товарні пропозиції музичних інструментів з онлайн-крамниць, представлені у вигляді текстових описів та зображень. Предметом дослідження є методи автоматичного зіставлення таких пропозицій на основі мультимодального аналізу. Метою дослідження є розробка ультимативного алгоритму зіставлення товарних пропозицій музикальних інструментів на основі мультимодальної інформації та створенням програмного застосунку-агрегатора, що забезпечує автоматичне виявлення однакових інструментів у різних магазинах. У дослідженні проведено аналіз сучасних методів оброблення текстової та зорової інформації, зокрема евристичних моделей нормалізації назв, семантичних моделей на основі Sentence-BERT, а також візуальних моделей ResNet-50, Vision Transformer та CLIP, реалізованих у бібліотеках PyTorch та TensorFlow. Сформовано структурований датасет товарів із найбільших українських інтернет-магазинів музичних інструментів. Наукова новизна дослідження полягає у створенні комплексного методу зіставлення товарних пропозицій музичних інструментів, який поєднує евристичні, семантичні та візуальні ознаки в єдиному мультимодальному просторі. Запропонований підхід дозволяє значно підвищити коректність зіставлення в умовах високої структурної подібності зображень та неоднорідності текстових описів.