Automated identification of medicinal products in mobile information systems based on multimodal models

Abstract

Робота присвячена актуальній проблемі автоматизації обліку та контролю лікарських засобів у домашніх умовах шляхом інтеграції сучасних методів штучного інтелекту в мобільні інформаційні системи. На основі аналізу 25 мобільних додатків встановлено, що у 88% з них основним методом введення даних залишається ручне введення, що знижує зручність використання та підвищує ризик помилок, а інтелектуальні методи розпізнавання відсутні. Авторами запропоновано новий підхід до автоматизованої ідентифікації медикаментів, який базується на обробці мультимодальних даних і поєднує використання фотографій упаковок з їх подальшою інтерпретацією великими мовними моделями. У межах дослідження проведено експериментальну оцінку сучасних мультимодальних моделей, включаючи серію Flash від Google DeepMind та моделі від OpenAI, що підтвердило їх високу придатність для автоматизації процесів введення даних. Запропоноване рішення дозволяє мінімізувати помилки користувачів, підвищує рівень автоматизації менеджменту ліків та покращує ергономіку мобільних систем керування домашніми аптечками.