Дослідження методів генерування ілюстрацій на основі тексту

Abstract

Мета роботи – створити ілюстрації до текстів. Для перетворення тексту у зображення є два етапи. По-перше, аналіз тексту, в ході якого отримується ключова інформація (скорочення) тексту. Для цього можуть використовуватися різні способи, такі як алгоритм RAKE, NLP або створення текстових анотацій. По-друге, генерування зображення з міток (ключових слів). Для створення зображень існує безліч GAN. Вдосконалення умовних GAN, таких як BigGAN, AttnGAN використовують мітки як основу для створення зображення. Зображення можна перетворювати з одного на інше за допомогою StyleGAN, CycleGAN, Pix2Pix тощо. Також існують методи для створення зображень за конкретними темами, такими як природа (GauGAN) або люди (PoseGAN). SinGAN дозволяє створювати безліч зображень за допомогою моделі, натренованої на лише одному зображенні. Ці зображення є варіаціями вихідного зображення з додаванням «шуму».