Інформаційна технологія моделювання кризових ситуацій у vr/ar з елементами гейміфікації для навчання домедичній допомозі цивільного населення

Abstract

Актуальність дослідження зумовлена критичною потребою в ефективній та психологічно реалістичній підготовці фахівців і цивільного населення до надання домедичної допомоги в умовах воєнних дій та кризових ситуацій. Традиційні методи навчання не можуть повною мірою симулювати стресові фактори та інтерактивну динаміку реальних надзвичайних подій. Метою дослідження є розробка інформаційної технології для інтерактивного VR/AR-симулятора домедичної допомоги, що дозволяє користувачам без ризику відпрацьовувати критично важливі навички в середовищі, максимально наближеному до бойових умов. Для реалізації проекту використано технології формування Бізнес-моделі та Структури декомпозиції робіт (WBS) для MVP; генеративного штучного інтелекту (DALL-E, Trellis3D, Tripo, Meshy, Stable Diffusion) для швидкої генерації реалістичного 2D та 3D-контенту (руїни, постраждалі, поранення); створення VR-сцени у Unreal Engine 5 на базі шаблону VR Template; реалізацію ключових VR-механік, таких як Smooth Locomotion, система захоплення об'єктів (Grabbable Objects), а також інтеграцію навчального мультимедійного контенту. Результати демонструють успішне створення прототипу VR-середовища з інтерактивним сценарієм надання допомоги, наприклад, після ракетного удару. Сформовано десятки моделей різних елементів реального середовища сучасного українського міста за допомогою мобільної фотограмметрії, використовуючи RealityScan, зі зниженою кількістю фото (близько 30-50 кадрів замість 80-100) для досягнення ефекту пошкоджених об’єктів. Імпортовано 3D-моделі, згенеровані ШІ (Tripo, Meshy) та знайдені на маркетплейсах, а також реалізовано коректну колізію, телепорт і плавне переміщення користувача. Висновки підтверджують ефективність інтеграції генеративного ШІ та ігрових технологій для оперативного створення спеціалізованого VR-контенту. Експеримент із фотограмметрією показав, що свідоме зменшення кількості вхідних даних (використано лише 37,5–62,5% від рекомендованої кількості фото) є життєздатним творчим методом для моделювання зони ураження шляхом індукування некритичних спотворень сітки та текстур. Отримані навички дозволяють ефективно застосовувати AI-інструменти для розробки навчальних та симуляційних VR/AR-середовищ, що має високе прикладне значення у сфері безпеки та медицини.

S. L. Chyrun, V. A. Vysotska, O. Y. Brodyak. Information technology for modelling crisis situations in VR/AR with elements of gamification for training the civil population in pre-medical care provision. The relevance of the study lies in the critical need for effective and psychologically realistic training of specialists and civilians to provide first aid in conditions of military operations and crisis situations. Traditional training methods cannot fully simulate stress factors and the interactive dynamics of real emergency events. The objective of this study is to develop information technology for an interactive VR/AR simulator of first aid, which enables users to practice critical skills without risk in an environment as realistic as possible to combat conditions. To implement the project, the following technologies were used: Business Model and Work Breakdown Structure (WBS) formation for MVP; Generative Artificial Intelligence (AI) (DALL-E, Trellis3D, Tripo, Meshy, Stable Diffusion) for rapid generation of realistic 2D and 3D content (ruins, victims, injuries); creation of a VR scene in Unreal Engine 5 based on the VR Template; implementation of key VR mechanics such as Smooth Locomotion, Grabbable Objects, and integration of educational multimedia content. Results demonstrate the successful creation of a prototype VR environment featuring an interactive scenario that assists with missile strike operations. During the work, five models of children's swings were generated using mobile photogrammetry with RealityScan, utilising a reduced number of photos (approximately 30-50 frames instead of 80-100) to achieve the effect of damaged objects. 3D models generated by AI (Tripo, Meshy) and found on marketplaces were imported, and correct collision and smooth user movement were implemented. The findings confirm the effectiveness of integrating generative AI and gaming technologies for the rapid creation of specialized VR content. The photogrammetry experiment demonstrated that deliberately reducing the amount of input data (using only 37.5–62.5% of the recommended number of photos) is a viable creative method for modelling the affected area, inducing non-critical mesh and texture distortions. The acquired skills enable the effective use of AI tools for developing training and simulation VR/AR environments, which have high applied value in the fields of security and medicine.