Застосування дифузних нейронних мереж для генерації зображень

Abstract

Мета роботи – дослідити підходи до тонкого донавчання (fine-tuning) генеративної моделі Stable Diffusion методами LoRA, обґрунтувати вибір програмних інструментів і методів оптимізації для зменшення апаратних ресурсів, а також оцінити якість отриманих зображень у контексті візуальної відповідності заданому стилю. Методи дослідження – аналіз сучасних публікацій у сфері генеративних нейронних мереж та перехідних шарів LoRA, експериментальне моделювання з використанням бібліотек PyTorch і Diffusers, оптимізація параметрів за допомогою зменшення точності (FP16) і градієнтної акумуляції, моделювання архітектури навчання та тестування на реальних прикладах.