Реконструкція 3D сцен за допомогою дифузійної моделі та 3D Gaussian splatting

Abstract

Об’єкт дослідження – процес тривимірної реконструкції сцен за набором зображень. Предмет дослідження – метод Gaussian Splatting з дифузійно генерованою сіткою як геометричною апріорною моделлю. Мета роботи – розроблення методу Diffusion-driven Gaussian Splatting для реконструкції тривимірних сцен. Методи дослідження – Gaussian Splatting, дифузійні генеративні моделі, диференційований рендеринг, обробка хмар точок. Запропоновано використання дифузійно-генерованої сітки як просторової апріорної моделі для Gaussian Splatting, що забезпечує глобально узгоджене геометричне представлення сцени. Розроблено та реалізовано метод дифузійно-керованого Gaussian Splatting; проведено експериментальне порівняння на всіх 8 сценах набору NeRF Synthetic; показано, що використання дифузійної сітки як апріорної моделі підвищує якість реконструкції відносно базової реалізації 3DGS на 4 з 8 сцен (середній приріст +1.77 дБ PSNR); виявлено залежність ефективності методу від типу геометрії сцени та визначено межі застосовності підходу.