Дослідження ймовірнісних моделей дифузії для інтелектуальних технологій генерації зображень за їх текстовим представленням

Abstract

Мета дослідження: підвищення ефективності технологій генерації зображень на основі їх текстового представлення за рахунок використання ймовірнісних моделей дифузії. Методи дослідження – теорія ймовірностей та стохастичне числення, глибинне навчання та оптимізація нейронних мереж, архітектурне моделювання на основі трансформерів та згорткових мереж, об'єктно-орієнтоване проєктування програмних систем. У роботі спроєктовано та реалізовано систему умовної генерації зображень на базі латентної дифузійної моделі з модифікованим механізмом перехресної уваги на основі алгоритмів прискореного семплювання DDIM та DPM-Solver. Галузь застосування – цифровий дизайн та створення ілюстративного контенту, розширення навчальних датасетів у науково-дослідних роботах з комп'ютерного зору, платформи для тонкого налаштування під специфічні предметні галузі методами LoRA та DreamBooth, а також локальні системи генерації зображень без залежності від хмарних сервісів.