Програмне моделювання методів оживлення зображень у мультимедійних системах

Abstract

У цій роботі ми розглянули спосіб оживлення моделі обличчя з участю нейромережі First Order Motion Model. В основі методу лежить передача міміки з відео, де людина рухає обличчям, на зображення і тривимірну модель у Blender. Розроблено програму, яка вміє обробляти відео, визначати ключові точки на обличчі і переносити їх на тривимірну модель як анімацію. Усе вище сказане працює через Shape Keys у Blender та дозволяє робити обличчя живим без якогось складного рігінгу. Результати роботи показали, що обличчя може реалістично рухаєтися, майже як у справжньому відео. Такий підхід можна застосувати в ігровій розробці, фільмах, онлайн–аватарах та в інших сферах нашого життя.