Розроблення системи класифікації та оцінювання калорійності страв на основі глибинного навчання та моделі YOLO

Abstract

Метою роботи є розробка та експериментальне дослідження інтелектуальної системи на основі ансамблів глибоких нейронних мереж для класифікації страв та подальшої метричної оцінки їх калорійності. В ході реалізації було розроблено алгоритм уніфікації наборів даних Food-101 та UEC-FOOD 256, що дозволило розширити таксономію системи до 334 категорій. Для розв'язання задачі класифікації впроваджено ансамбль архітектур ResNet-50 та DenseNet-121, навчених за стратегією двофазного трансферного навчання з оптимізацією під середовище DirectML. Точність розпізнавання на розширеній вибірці склала 73,71% (Top-1), а верифікація на авторському наборі даних підтвердила стійкість системи з показником 70,67%. Особливу увагу приділено обчислювальному модулю, де для детекції референтних об’єктів використано архітектуру RT-DETR, а для прецизійної сегментації меж страв та інструментів – модель Segment Anything Model. Вперше впроваджено гібридний алгоритм регуляризації об’єму порцій, який поєднує методи 6 нечіткої логіки для оцінки довіри до масштабу та статистичні дані з бази нутрієнтів. Це дозволило реалізувати механізм «анти-абсурдного» кліпінгу площі, що суттєво мінімізує похибку розрахунку калорійності при складних ракурсах зйомки та забезпечує високу точність фінальної оцінки енергетичної цінності страви.