Дослідження Point-based Neural Radiance Fields для реконструкції великих 3Д сцен з невідомими позами камер за допомогою нейронного bundle adjustment

Abstract

Мета роботи – покращення якості генерації 3Д структур при використанні неякісних (або повної відсутності) поз камер у поточкових Neural Radiance Fields. Методи дослідження – аналіз існуючих підходів для генерації 3Д структур за допомогою набору зображень, розробка архітектури та алгоритму навчання поточкових Neural Radiance Fields та нейронних мереж в їх складових, програмна реалізація та проведення експерименту, обробка та аналіз отриманих результатів. Під час виконання кваліфікаційної роботи проведено аналіз літературних джерел в області Neural Radiance Fields та алгоритмів їх навчання, наукових публікацій щодо розробки та проектування такого виду систем нейронних мереж для генерації 3Д об’єктів з набору зображень. Було виділено основні недоліки існуючих підходів та запропоновано нову архітектуру – поточковий Neural Radiance Fields та алгоритм його навчання, який в процесі корегує (або визначає) пози камер відповідних зображень. Реалізовано програмний модуль моделі зі всіма необхідними алгоритмами та протестовано на відповідних відкритих даних. На основі результатів був проведений порівняльний аналіз якості запропонованого підходу