Генерація PBR-текстур на основі зображень у 3D-графіці методами машинного навчання

Abstract

Об’єкт дослідження – методи генерації PBR-текстур з одного вхідного зображення в 3D-графіці. Мета роботи – закріплення, поглиблення теоретичних та практичних знань, здобутих у процесі навчання, а також дослідження та практична реалізація сучасних методів машинного навчання (ML) для автоматизованого синтезу фізично коректних текстур (зокрема, карт нормалей, шорсткості та металічності). Методи дослідження – в рамках виконання кваліфікаційної роботи було проведено теоретичний аналіз, що містить дослідження літератури та огляд технологій, а також емпіричний аналіз під час якого було зібрано дані, проведено необхідні експерименти та їх аналіз Темою кваліфікаційної роботи є автоматизована генерація набору PBR-текстур (normal, roughness, displacement та ін.) з використанням бібліотек машинного навчання, зокрема TensorFlow/Keras та мови Python. У результаті виконання було проведено дослідження як теоретичних основ PBR-пайплайну, так і практичної реалізації моделі та її інтеграції. Розглядався загальний підхід до задачі перетворення зображення на зображення, що дозволяє нейронній мережі виводити приховані матеріальні властивості поверхні з візуальних підказок на одному фото. Була розроблена та натренована модель ML, а також створено аддон для Blender 3D для демонстрації практичного застосування.