Застосування мовних моделей для редагування зображень і генерації відео

Abstract

Об’єктом роботи є вебзастосунок для створення, редагування та підготовки відеомедіа з використанням мовних моделей і генеративних сервісів. Метою роботи є розроблення MediaGenerator для роботи із зображеннями й відео через природномовні інструкції користувача. Застосунок підтримує генерацію та редагування зображень, аналіз зображень, розкадрування, створення відео за текстом або зображенням, автентифікацію і локальний режим Test. У роботі проаналізовано засади застосування мовних і мультимодальних моделей, обґрунтовано архітектуру React, FastAPI, SQLite, JWT, ряд постачальників сервісів, Hugging Face, Stability AI та Test. Результатом є вебзастосунок, у якому текстова інструкція використовується для створення або редагування зображення, підготовки розкадрування і запуску відеозадач