Russian Federation
Russian Federation
The article considers the proposed models and methods of designing, developing and implementing a virtual reality VR simulator on first aid for training specialists of the staff management subsystem of the automated pro-duction management system. Analysis of information about the injured at work in the territory of the Russian Federation is given, according to the data of the Federal State Statistics Service. The system structure has been developed. There is proposed a new approach to creating more realistic 3D models for visualizing in virtual reality, developing clothes for 3D models of people in virtual reality in the Marvelous designer software, and a strategy for optimizing 3D models for loading them into a virtual reality application. The process of model development, types of incorrect and correct model topology, types of high-polygonal model before retopology and low-polygonal model after retopology, the process of baking a normal map in Substance Painter software and a baked normal map, a model without and with a normal map, light adjustment, texturing and baking maps, materials consisting of PBR textures and main maps Albedo, Metallic, Roughness, Normal, Ambient Occlusion, Emission maps and models with and without textures, shaders. There is considered an approach to creating clothing for a human model in ZBrush software, as well as a seam on clothing for 3D models in virtual reality. Algorithms for real-time accounting, interaction with three-dimensional models in real time, as well as an algorithm for the operation of animated objects in a virtual reality simulator have been developed. The simulator has been tested in training the staff of the Moscow state budgetary institution the Center for Innovative Technologies in Leisure and Sports “Progress” and in the professional training program for the profession Car Driver implemented by SBVEI 26KADR in 2019. The positive results of the implementation are described.
automated production control system, 3D model, virtual reality, simulator, real-time mode, providing first aid
Введение
В эпоху развития информационных технологий одним из наиболее современных направлений являются системы виртуальной, дополненной и смешанной реальности (VR/AR/XR). Виртуальная реальность VR позволяет погрузить человека в искусственно созданную реальность, в которой пользователь взаимодействует только с виртуальными объектами, дополненная реальность AR с использованием графических объектов изменяет окружающий мир, дополняя его, а смешанная реальность XR использует возможности этих двух технологий [1].
Виртуальная реальность представляет подобие реального мира, созданного с применением современных технологий и представленного в цифровом формате. Виртуальная реальность влияет на органы чувств пользователя, погружая его в иллюзию.
В технологии виртуальной реальности имеется возможность использовать различные формы восприятия информации, в первую очередь, визуальную,
с применением основного атрибута иммерсивной технологии – шлема виртуальной реальности, посредством которого пользователь видит цифровой мир, созданный разработчиками. Далее тактильный способ восприятия: в большинстве наборов для виртуальной реальности используются контроллеры,
с применением которых можно передать вибрации, изображающие, например, пульс человека или работу блендера. Дополнительно имеются специальные перчатки, жилеты, костюмы и т. д. Также возможно использование звукового (аудио) способа восприятия информации. К шлему виртуальной реальности можно подключить наушники и передавать звуковое сопровождение проекта.
Направление является инновационным и активно развивается в современном мире [2‒6]. Решение задач разработки алгоритмов и методов проектирования трехмерных виртуальных объектов в сцене приложения виртуальной реальности, задач оптимизации трехмерных объектов, работа со светом, анимацией, возможностью управления виртуальными объектами в режиме реального времени средствами специальных устройств – комплекта виртуальной реальности – являются прикладными и научно-исследовательскими [7‒13].
На каждом промышленном объекте имеются собственные локальные акты ‒ инструкции и пособия, в которых описаны правила безопасности при работе с оборудованием, действия при возникновении внештатных ситуаций, правила оказания первой медицинской помощи и т. д. Отвечает за это связанный с охраной труда отдел, который условно отнесем к подсистеме управления персоналом (УП) общей автоматизированной системы управления производством (АСУП). Подразумевается, что подсистема УП отвечает за подготовку сотрудников, ответственных на производстве за оказание первой помощи. Использование симуляторов виртуальной реальности позволяет ускорить процесс подготовки, улучшить показатели его результативности по сравнению с традиционными методами, т. е. повысить его эффективность [14, 15].
Актуальность исследования обусловлена сведениями Федеральной службы государственной статистики [16] о пострадавших на производстве на территории РФ (табл.).
Сведения о пострадавших на производстве в 2019–2021 гг. на территории РФ
Information about the injured at work in 2019-2021 on the territory of the Russian Federation
|
Показатель |
2019 г. |
2021 г. |
|
Количество предприятий, ед. |
149 541 |
158 264 |
|
Средняя численность работников, чел. |
19 966 209 |
19 977 021 |
|
Количество пострадавших с утратой трудоспособности на 1 рабочий день |
23 343 |
21 609 |
|
Израсходовано средств на мероприятия по профилактике травматизма, тыс. руб. |
296 746 750,1 |
409 049 686,9 |
Согласно данным, количество предприятий и численность работников увеличивается, при этом прослеживается динамика уменьшения количества пострадавших с утратой трудоспособности на 1 рабочий день и более и со смертельным исходом. Следует отметить существенные израсходованные средства на обеспечение мероприятий по профилактике травматизма на производстве. Количество пострадавших работников значительное, поэтому можно сделать вывод, что типовые инструменты обучения малоэффективны. Возможные причины этого – представление информации в виде больших объемов текста тяжело воспринимается человеком, сотрудники получают исключительно теоретическую подготовку и незначительные практические навыки, теоретический экзамен по охране труда не отражает действительную ситуацию во время чрезвычайного положения. Как следствие, полученные знания забываются, у многих сотрудников отсутствует понимание степени серьезности последствий в результате нарушения техники безопасности или правил работы с оборудованием.
Эффективным инструментом снижения возможного травматизма на производстве являются профессиональные симуляторы виртуальной реальности, которые используются для повышения навыков работы с оборудованием и действиями в чрезвычайных ситуациях [17, 18]. Под симуляторами виртуальной реальности будем понимать комплекс программно-аппаратных средств, которые используются обучающимся для достижения образовательных целей. Аппаратная часть состоит из оборудования виртуальной реальности (шлема и контроллеров) – как подключенных к персональному компьютеру, так и работающих автономно. Программная часть представляет собой симуляцию с заданным сценарием, в которой пользователь получает информацию, взаимодействуя с виртуальным окружающим трехмерным миром при помощи органов чувств [3].
Применение геймификации в образовательном процессе демонстрирует положительную динамику в усвоении материала обучающимися [19, 20]. Современные информационные технологии позволяют улучшить опыт использования профессиональных тренажеров и симуляторов на основе внедрения в них технологии виртуальной реальности.
С применением виртуальной реальности обучаемый получает качественно более высокий уровень знаний и навыков. Например, симуляция пожара позволит отработать порядок действий при пожаре, проанализировать и отработать возникающие
в процессе ошибки, которые впоследствии могут стоить человеческих жизней.
Симуляторы виртуальной реальности имеют ряд преимуществ по сравнению с физическим оборудованием:
– сокращение затрат на производство и обслуживание симулятора;
– более высокая эффективность обучения по сравнению с традиционным подходом за счет увеличения количества часов на проработку навыков;
– возможность проводить обучение без прерывания производственных процессов;
– освобождение времени для сотрудников, ответственных за проведение инструктажей по технике безопасности и охране труда на предприятиях;
– полный контроль за процессом обучения новым навыкам среди персонала;
– подготовка новых сотрудников к работе с оборудованием или обучение работе на новых станках для более квалифицированных кадров;
– обучение и проверка знаний в области охраны труда и техники безопасности, в том числе и действий в случае возникновения чрезвычайных ситуаций на предприятии;
– обучение ремонту и техническому обслуживанию производственного оборудования, включая обучение лиц с ограниченными возможностями здоровья [21].
Взаимодействие с симулятором происходит с использованием специальных устройств: шлема виртуальной реальности, манипуляторов, перчаток-конт-
роллеров и возможным дополнительным оборудованием, в зависимости от качества симуляции. Симуляторы в большинстве спроектированы для реализации работы в 3-х режимах: обучение, тренировка, экзамен. Режим обучения симулирует ситуацию, в которой работнику требуется выполнить ряд действий. Система формирует подсказки и советы, как выполнить работу безопасно и корректно. Режим тренировки требует от обучаемого выполнить требуемые действия самостоятельно, без помощи и подсказок. В случае нарушения требований безопасности, неправильной последовательности действий или неверно выполненного задания система сообщит об этом обучаемому. По результатам экзамена определяется степень готовности сотрудника к работе с оборудованием. В случае неудовлетворительной сдачи экзамена работник направляется на повторное обучение.
Виртуальная реальность позволяет воссоздать правдоподобную, полноценную модель станка, производственного цеха или рабочей площадки. Более продвинутые средства, такие как перчатки-контроллеры, позволяют распознавать действия человека для более реалистичного управления программой. Необходимо отметить появившиеся специальные костюмы, которые полностью покрывают тело и позволяют реализовать тактильную связь с иммерсионной средой.
Предлагается внедрение симулятора виртуальной реальности по оказанию первой медицинской помощи, который позволит сократить расходы на подготовку сотрудников, увеличить количество практических часов и, как следствие, сократить количество пострадавших.
Статья описывает результаты создания более реалистичных приложений виртуальной реальности на примере проектирования и разработки симулятора виртуальной реальности по оказанию первой медицинской помощи для подготовки специалистов подсистемы УП АСУП на базе нового подхода к разработке трехмерных моделей для визуализации, разработки «одежды» для трехмерных моделей людей и стратегии оптимизации трехмерных моделей при их загрузке в приложение виртуальной реальности. Эти возможности необходимы для качественной реализации симулятора виртуальной реальности по оказанию первой медицинской помощи с технологией визуализации трехмерных объектов. Анализ существующих решений показывает, что они имеют определенные недостатки. Таким образом, решение вышеизложенных задач является актуальным.
Постановка задачи
Целью работы является повышение эффективности подготовки специалистов производства на основе исследования, разработки и внедрения в их деятельность образовательной информационной системы для оказания первой медицинской помощи с использованием инструментов виртуальной реальности с технологией визуализации трехмерных объектов, а именно симулятора виртуальной реальности по обучению и оценке профессиональных компетенций. Для достижения поставленной цели необходимо решить следующие задачи:
– исследовать технологии виртуальной реальности, выявить их преимущества и недостатки, предложить новые решения по повышению их эффективности;
– изучить современные программные продукты, разработанные на основе технологий виртуальной реальности, рассмотреть технические алгоритмы
и визуализацию трехмерных объектов;
– разработать структуру образовательной информационной системы для оказания первой медицинской помощи инструментами виртуальной реальности с технологией визуализации трехмерных объектов;
– предложить новый подход к созданию более реалистичных трехмерных моделей при визуализации в виртуальной реальности;
– предложить стратегию оптимизации трехмерных моделей при их загрузке в приложение виртуальной реальности;
– разработать алгоритм учета реального времени в приложении виртуальной реальности;
– разработать алгоритм взаимодействия с трехмерными моделями в виртуальной реальности
в режиме реального времени;
– разработать алгоритмы работы анимационных объектов образовательной информационной системы;
– сформулировать требования к пользовательскому интерфейсу приложения виртуальной реальности;
– обеспечить структурное хранение данных (модели, текстуры, скрипты, префабы, сцены и пр.);
– реализовать образовательную информационную систему для оказания первой медицинской помощи инструментами виртуальной реальности
с технологией визуализации трехмерных объектов;
– провести тестирование и отладку образовательной информационной системы.
В связи с ограниченным объемом статьи ниже приводится описание наиболее интересных полученных результатов по использованию симуляторов виртуальной реальности для обучения оказанию первой медицинской помощи.
Разработка структуры образовательной информационной системы для оказания первой медицинской помощи инструментами виртуальной реальности с технологией визуализации трехмерных объектов
Структура системы симулятора виртуальной реальности по оказанию первой медицинской помощи для подсистемы УП АСУП представлена на рис. 1.
Рис. 1. Структура системы симулятора виртуальной реальности подсистемы УП АСУП
Fig. 1. Structure of a virtual reality simulator of SM subsystem in APCS
Пользователь (User) с использованием контроллера и VR-шлема погружается в виртуальную реальность. Отображение виртуальной реальности происходит в зависимости от ракурса камеры, который определяется направлением взгляда пользователя. Далее пользователь выбирает одну из комнат – сцен. С применением контроллеров можно перемещаться по сценам в VR-приложении. Один из возможных вариантов в ситуации, когда человеку стало плохо, связан проверкой его пульса. При выполнении этого действия контроллер может вибрировать в такт пульса. Если вибрация отсутствует, то требуется оказать первую помощь. Первая помощь заключается в проведении сердечно-легочного массажа и искусственного дыхания. Если эти действия выполнены, то имитируется глубокий вдох, что означает, что человека спасли.
Способы создания реалистичных трехмерных моделей и окружения виртуального мира симулятора виртуальной реальности по оказанию первой медицинской помощи для подготовки специалистов подсистемы УП АСУП
Разработка моделей. Разработка современных высококачественных трехмерных приложений требует большой мощности от персональных компьютеров и других воспроизводимых устройств. В связи с этим возникает необходимость оптимизировать проекты: трехмерные объекты и программный код
и другие ключевые элементы, чтобы они запускались на целевой платформе без зависания и прочих сбоев. В связи с этим трехмерная 3D-модель создается по определенному алгоритму (рис. 2).
Рис. 2. Фрагмент алгоритма создания трехмерной модели
Fig. 2. Fragment of the algorithm of creating a 3D model
Топология моделей. Сетка (mesh) ‒ это совокупность вершин, которые образуют ребра и полигоны или форму (геометрию), они составляют одну 3D-модель. Топология модели подразумевает, как именно эти вершины образуют сетку модели. Две модели могут выглядеть одинаково, однако топология у них разная. Чем меньше количество полигонов у модели, тем она производительней. При этом у модели не должно быть многоугольников,
т. е. полигон не должен состоять из 5 или более вершин, т. к. движок использует только треугольные полигоны (трисы). Топологию создает как пользователь, так и программный движок при импорте модели (триангуляция).
Для корректной работы движка модели должны иметь правильную топологию. Наличие неправильной топологии, многоугольников «затормаживает» работу, оставляет на модели «дыры» и «сворачивания». В настоящее время большинство программных движков полигоны (Face) режут на треугольники, однако в связи с рисками необходимо модель проверять на правильность топологии.
Ретопология моделей. Используются 3D-модели высокополигональные (high poly) и низкополигональные (low poly). Высокополигональные отличаются качеством, сложной формой, проработкой и детализацией модели. Обычно в high poly модели от 30 000 и больше полигонов. Такое количество полигонов является неоптимизированным для движка. Для этого создается копия высокополигональной модели, однако с гораздо меньшей детализацией. Суть заключается в том, что поверх одной модели строится сетка другой. При этом low poly модель содержит до 30 000 полигонов. Для ретопологии модели используются такие 3D-пакеты, как Maya, Blender, 3ds Max. После построения низкополигональной модели создаются карты нормалей (normal map) на основе запекания двух high poly и low poly моделей в программе Substance Painter. Карта имитирует неровности на низкополигональной модели
в движке, поэтому модель будет похожа на высокополигональную.
Оптимизация трехмерных моделей при их загрузке в приложение виртуальной реальности. Подготовка моделей и текстур для LOD (Level of Detail, уровень детализации) – способ в 3D-графике, который подразумевает разработку нескольких вариантов одной модели с отличающимися видами детализации, уровни переключаются по мере удаления модели от камеры в виртуальной реальности.
Существуют 2 вида LOD.
Из 1-й модели в 3D-пакете создаются менее детализированные, которые стоят неподвижно и не изменяются при приближении/отдалении камеры,
т. е. статичные. Сделано это для уменьшения нагрузки и обработки данных, чтобы игровой движок отдавал приоритет обработки на усмотрение разработчика вещей.
Для 2-й модели активируются компоненты, обеспечивающие визуализацию в динамическом режиме.
Для использования в движке Unity необходимо
в компонентах выбрать пункт LOD GROUP и назначить на каждый уровень собственную модель с материалами. В MAYA заранее создаем LOD-группы
с названиями (LOD_0, LOD_1, LOD_2), в движке Unity переносим материалы на модель, и он автоматически выставляет требуемый LOD-уровень. Для этого выбирается необходимый диапазон для определения камеры объекта. Все LOD GROUP начинаются с нуля.
В среде разработки приложения виртуальной реальности Unity оптимизация с использованием LOD-групп позволяет в меньшей степени детализировать объект при отдалении камеры. На рис. 3 показано схематичное представление настройки модели для LOD и изменение модели при отдалении камеры в среде разработки проекта на Unity.
а б в
Рис. 3. Схематичное представление настройки модели для LOD (а) и изменение модели при отдалении камеры (б, в)
Fig. 3. Schematic representation of the model setup for LOD (a) and changing the model at a distant camera (б, в)
Использование этих настроек позволяет оптимизировать приложение с большим количеством моделей и уменьшить нагрузку на видеопамять графического процессора в несколько раз.
Настройка света. Свет – это неотъемлемая часть каждой сцены. Свет определяет атмосферу и цветовую гамму сцены, заметно улучшает графику и приближает к реальности. Чем больше свет гармонирует с объектами, тем реалистичней и качественней становится картинка. Основные источники света:
– Directional Light – источник, имитирующий прямое солнечное освещение, позволяет задать общее направление лучей света в сцене;
– Point Light – точечный источник, направленный в разные стороны;
– Spotlight – источник света, напоминающий прожектор, у него имеется направление распространения лучей света.
Чтобы добиться более реалистичной картинки, используется запекание света с использованием компонента рендеринга Reflection Probe. Reflection Probe – это камера, которая рендерит и отражает все объекты, находящиеся вокруг нее, а затем «запекает» свет в Light Map. Модели, материалы которых имеют отражения, отображают другие модели. Заранее запеченный свет многократно увеличивает производительность проекта, т. к. движку не придется обрабатывать каждый раз освещение сцены.
Следующим шагом важно использовать карту затенения модели Ambient Occlusion map. Для создания карты Ambient Occlusion map используется программа текстурирования Substance Painter. В ней можно настроить, как затеняется модель, и задавать силу затенения.
Текстурирование и запекание карт. Качество текстуры существенно влияет на восприятие графики, фотореалистичные текстуры и материалы и называются Physically-Based Rendering (PBR). Такие текстуры наиболее точно описывают, как свет падает на поверхность модели, причем PBR шейдеры в Unity трактуют физику освещения модели вне зависимости от ее расположения. Основные PBR текстуры: Albedo (базовый цвет) – передает информацию об оттенках и цвете модели; Metallic (металличность) – передает информацию о наличии металлической модели в определенных участках; Roughness (шероховатость) – передает информацию о неровностях модели. Шероховатость изменяет направление отраженного света: чем неровней поверхность, тем шире и больше блики лучей света. У гладких поверхностей блики расположены ближе. Дополнительные PBR-текстуры: Normal (карта нормалей) – передает информацию о неровностях и вмятинах на объекте, используется для увеличения детализации модели без затрат увеличения полигонажа модели; Ambient Occlusion (затенение) – отображает, как будет затеняться модель при статическом свете; Emission (излучение) – передает информацию о самосвечении объекта.
Шейдеры. Шейдеры являются наиболее важными компонентами для визуализации сцены. Это метод визуализации объекта, который определяет конечный результат отображения объекта. Шейдеры пишутся на языке ShaderLab. При этом Unity включает порядка 80 шейдеров. Все шейдеры
в Unity оптимизированы под движок. Существуют три основных вида шейдеров: вершинный, геометрический, пиксельный. Вершинный шейдер получает данные, связанные с вершинами: координаты на сцене, направление, цвет и текстурные координаты. Используется для анимации, создания травы, воды и деревьев. Геометрические шейдеры используются для создания новых форм и при создании системы частиц (Particles), изменении детализации модели (LOD) и создании теней. Пиксельные шейдеры накладывают текстуры, освещение и разные FX (спецэффекты), например отражение, прозрачность, отображение неровностей и пр. Пиксельный шейдер используется последним на этапе графической обработки модели. Визуализация модели графическим процессором (GPU) происходит согласно следующей последовательности этапов:
1. Получение входных данных (вершин).
2. Обработка данных вершинным шейдером.
3. Обработка данных геометрическим шейдером.
4. Триангуляция модели.
5. Рендер изображения модели.
6. Обработка данных пиксельным шейдером.
7. Построение конечного изображения.
Свет играет огромную роль на сцене, он определяет атмосферу сцены и увеличивает детализацию на основе отражающих эффектов. Reflection Prob запекает свет на сцене и сохраняет Light Map, это оптимизирует проект. При этом Ambient Occlusion необходим для более реалистичных
и плавных теней на объекте. Текстуры PBR используются в проектах, где графика должна быть максимально приближена к реальности. Она учитывает падение луча света, и с использованием PBR-шейдеров модели получаются на фото существенно реалистичней. Шейдеры необходимы для прорисовки модели на сцене, от собственно геометрии до растрирования в картинку.
Алгоритмы взаимодействия с трехмерными моделями и работы анимационных объектов в виртуальной реальности в режиме реального времени
Находясь в виртуальной реальности, человек увлекается и забывает про настоящую реальность, поэтому он может начать двигаться в реальности
и получить травму. Для исключения таких случаев разработан алгоритм, обрабатывающий данные
и регулирующий процесс перемещения пользователя в проекте, используя систему телепортации через контроллеры, обозначающие правую и левую руки человека в виртуальном мире. При запуске приложения пользователь находится в шлеме виртуальной реальности и видит виртуальное окружение. Активируется система телепортации, позволяющая пользователю перемещаться по сцене. Для этого ему необходимо выбрать область с использованием контроллеров, в которую он хочет переместиться. Система телепортации работает во время всего сеанса запуска приложения. Также в проекте предусмотрено ограничение перемещения пользователя во время оказания первой помощи пострадавшему. В момент оказания помощи пострадавшему область перемещения ограничена и будет действовать только рядом с пострадавшим, пока не закончатся действия по оказанию первой помощи (рис. 4).
Рис. 4. Блок-схема алгоритма системы перемещения пользователя
Fig. 4. Block diagram of the algorithm of user movement with a description of symbols and symbols
Далее рассмотрим этап, связанный с оказанием первой помощи пострадавшему на основе сердечно-легочной реанимации.
Алгоритм реализации процесса оказания первой помощи пострадавшему на основе сердечно-легочной реанимации
Для достижения эффекта полного погружения в моделируемую ситуацию, на основе реальных этапов проведения первой медицинской помощи пострадавшему при остановке сердца, разработан алгоритм проведения реанимационных действий с пострадавшим для его спасения. Для перемещения пострадавшего в целях оказания первой медицинской помощи система определяет количество повторений предварительных реанимационных действий для спасения человека. Пока количество повторений не равно заранее заданному числу, человек не будет спасен. На протяжении реанимационных действий пользователя сопровождает пользовательский интерфейс (UI), на котором отображаются подсказки к выполнению определенных действий. Подсказка, которая будет показана UI, зависит от этапа проведения реанимационных действий по отношению к пострадавшему. Все действия производятся в строгой последовательности для полного погружения пользователя в ситуацию. Чередование производимых реанимационных действий во время оказания первой помощи при остановке сердца соответствует рекомендациям МЧС – 15 : 2, т. е. через каждые 15 надавливаний оказывающий помощь дважды подряд вдувает в легкие пострадавшего воздух и вновь проводит массаж сердца. После проведения необходимого числа реанимационных действий воспроизводится звук глубокого вздоха пострадавшего, затем пользователю необходимо убедиться в нормализации пульса у пострадавшего. По окончании выводится соответствующее сообщение на UI об успешном оказании первой помощи пострадавшему (рис. 5).
Рис. 5. Блок-схема алгоритма выполнения последовательности реанимационных действий пользователем
во время оказания первой помощи пострадавшему при остановке сердца
Fig. 5. Block diagram of the algorithm of the of resuscitation steps for a user
providing first aid to a person in cardiac arrest
Интерес также представляет воспроизведение тактильного ощущения пульса человека.
Алгоритм реализации тактильного ощущения пульса человека на основе функции вибрации контроллеров
Чтобы дать точное понимание пользователю о том, что он правильно произвел все реанимационные действия и спас пострадавшего, разработан алгоритм для вызова тактильных ощущений у пользователя с ощущением, что он чувствует пульс спасенного человека. В первую очередь, система проверяет, чтобы пользователь «не просто взял за руку пострадавшего», а именно за запястье, как в реальности, чтобы проверить пульс. Если пользователь не выполнит это условие, то он не сможет почувствовать пульс спасенного человека. Чтобы вибрация контроллера, которым пользователь взял руку спасенного, совпадала по тактильным ощущениям
с настоящим пульсом, подобрано специальное время вызова этой функции. После того, как запястье отпущено, выполняется окончательная проверка успешной реанимации пострадавшего (рис. 6).
Рис. 6. Блок-схема алгоритма вызова тактильного ощущения пульса пользователем по окончании проведения реанимационных действий
Fig. 6. Block diagram of the algorithm for triggering the tactile pulse feeling by the user at the end of resuscitation actions
Реализация симулятора виртуальной реальности по оказанию первой медицинской помощи для подготовки специалистов УП АСУП
Концепт приложения заключается в оказании первой медицинской помощи человеку для использования в подсистеме УП АСУП в различных моделируемых ситуациях. В режиме меню можно выбрать режим обучения, тренировки или экзамена. Далее пользователь появляется в комнате, где ему предлагается на выбор переместиться в различные смоделированные сценарии. С использованием системы телепортации можно перемещаться по локации. На основной сцене воспроизводится ситуация: оказание первой помощи пострадавшему при остановке сердца. На ней видим пострадавшего, чтобы оказать ему первую помощь, необходимо перейти
в подписанную синюю область рядом с ним. С этого момента начинаются реанимационные действия. На протяжении реанимации слева от игрока находится уведомление с подсказками (рис. 7).
Рис. 7. Интерфейс симулятора оказания первой медицинской помощи пострадавшему
Fig. 7. Interface of the first aid simulator for the injured
Этап реанимации проводится в соответствии со следующим алгоритмом.
1. Проверка на наличие пульса у пострадавшего. В качестве подсказки пользователю показывается область зеленого цвета, на которую необходимо обратить внимание. Чтобы проверить пульс, необходимо взять пострадавшего за запястье, убедиться, что пульс отсутствует, и отпустить руку.
2. Проверка на наличие дыхания у пострадавшего. Чтобы выполнить это действие, необходимо наклонить голову к пострадавшему, а именно в зеленую область.
3. Выполнение непрямого массажа сердца 15 раз. Чтобы выполнить указанное действие, необходимо сложить руки друг на друга и одновременно производить нажатия на зеленую область.
4. Выполнение искусственного дыхания 2 раза. Чтобы выполнить подобное действие, необходимо 2 раза наклониться ко рту пострадавшего.
5. Проделать этот цикл реанимационных действий необходимое количество раз.
6. После спасения человека необходимо убедиться в нормализации его пульса. Для этого требуется выполнить действия, аналогичные первому этапу. При проверке пульса контроллер должен выполнить симуляцию пульса вибрацией.
При правильном выполнении всех действий реанимация пострадавшего будет успешно проведена, а система выдаст соответствующее уведомление.
Апробация модели, симулятора
Симулятор виртуальной реальности VR по оказанию первой медицинской помощи для подготовки специалистов подсистемы УП АСУП тестировалась при подготовке сотрудников ГБУ г. Москвы «Центр инновационных технологий в сфере досуга и спорта "Прогресс"» и в программе профессиональной подготовки по профессии «Водитель автомобиля», реализуемой ГБПОУ «26КАДР» в 2019 г.
В практическое занятие входит оценка обстановки на местности происшествия, отработка навыков оценки уровня травмы и состояния жизни у пострадавшего, отработка навыков закрытого массажа сердца; выполнение спасательной операции сердечно-легочной реанимации; практических навыков по оказанию искусственного дыхания «рот ко рту». Отмечено улучшение усвоения материала обучающимися на 28 % по сравнению с группами, обучающимися по традиционной методике. Сотрудники ГБУ г. Москвы «Центр инновационных технологий в сфере досуга и спорта "Прогресс"» после занятий с применением симулятора виртуальной реальности по оказанию первой медицинской помощи демонстрируют высокий уровень готовности к ситуации оказания первой медицинской помощи. Таким образом, симулятор виртуальной реальности по оказанию первой медицинской помощи апробирован и принят к внедрению в вышеуказанные организации, о чем имеются соответствующие документы.
Заключение
Предложен новый подход по созданию более реалистичных трехмерных моделей при визуализации в виртуальной реальности, по разработке «одежды» для трехмерных моделей людей в виртуальной реальности и стратегия оптимизации трехмерных моделей при их загрузке в приложение виртуальной реальности. Разработаны алгоритм учета реального времени в приложении виртуальной реальности, а также взаимодействия с трехмерными моделями
в виртуальной реальности в режиме реального времени и работы анимационных объектов в VR-симуляторе.
Симулятор виртуальной реальности VR по оказанию первой медицинской помощи наглядно демонстрирует процессы, позволяющие обучающимся лучше освоить материал рабочей программы профессиональной подготовки «Водитель автомобиля», реализуемой ГБПОУ «26КАДР», в который входят темы оказания первой помощи при отсутствии сознания, остановке кровообращения и дыхания, при травмах и наружных кровотечениях, при других состояниях.
1. Doolani S., Wessels C., Kana V., Sevastopoulos C., Jaiswal A., Nambiappan H., Makedon F. A Review of Extended Reality (XR) Technologies for Manufacturing Training // Technologies. 2020. V. 8. Iss. 77. DOI:https://doi.org/10.3390/technologies8040077.
2. Guinn I. V. Application of the new technologies: Augmented Reality and Virtual Reality in Education // Cross-Cultural Studies: Education and Science. 2022. V. 7, iss. 2. P. 126-132.
3. Mmaki J., Trevor M., Ronel M. Experiential learning through Virtual and Augmented Reality in Higher Education. URL: https://drive.google.com/file/d/1B5iDxLP4FFMudwGGXjzBCmjcMUsyVmCY/view?usp=sharing (data obrascheniya: 20.01.2023).
4. Qingyang I., Qian L., Ziwei L., Shen J. Virtual reality or video-based self-instruction: comparing the learning outcomes of cardiopulmonary resuscitation training // Bulletin of the South Ural State University. Series: Education. Educational sciences. 2021. V. 13. N. 2. P. 53-62.
5. Maricic S., Radolovic D., Veljovic I., Raguz R. VR 3D Education for Vocational Training // MATEC Web of Conferences. 2019. V. 299. Art. 03006. P. 8.
6. Martín-Gutiérrez J., Efrén C. M., Añorbe-Díaz B., González-Marrero A. Virtual Technologies Trends in Education // EURASIA Journal of Mathematics Science and Technology Education. 2017. N. 13 (2). P. 469-486. DOI:https://doi.org/10.12973/eurasia.2017.00626a.
7. Aslanov R. E., Bol'shakov A. A. Trenazher tokarnoy i frezernoy obrabotki na osnove komp'yuternyh modeley s ispol'zovaniem tehnologiy virtual'noy real'nosti // Avtomatizaciya v promyshlennosti. 2022. № 9. S. 17-20. DOI:https://doi.org/10.25728/avtprom.2022.09.03.
8. Bol'shakov A. A., Sgibnev A. A., Veshneva I. V., Grepechuk Yu. N., Klyuchikov A. V. Sistemnyy analiz cheloveko-mashinnogo vzaimodeystviya na osnove statusnyh funkciy pri formirovanii ob'emnogo izobrazheniya v volyumetricheskih displeyah // Izv. Sankt-Peterb. gos. tehnolog. in-ta (Tehnich. un-ta). 2017. № 40. S. 102-110.
9. Bol'shakov A. A., Vishtak O. V., Frolov D. A. Formirovanie modeli uchebnogo kursa interaktivnoy komp'yuternoy obuchayuschey sistemy na osnove nechetkoy kognitivnoy karty // Vestn. Astrahan. gos. tehn. un-ta. Ser.: Upravlenie, vychislitel'naya tehnika i informatika. 2016. № 2. S. 92-99.
10. Klyuchikov A. V., Bol'shakov A. A. Funkcional'-noe modelirovanie processa postroeniya ob'emnyh izobrazheniy na osnove avtostereoskopicheskih displeev // Prikaspiyskiy zhurnal: upravlenie i vysokie tehnologii. 2019. № 2 (46). S. 41-59.
11. Bolshakov A. A., Klyuchikov A. V., Kovylov N. V. Building a system architecture for displaying data in a complex of output devices // 2020 Int. Conf. Actual Probl. Electron Devices Eng., APEDE 2020. 2020. Paper N. 9255414. P. 302-304. DOI:https://doi.org/10.1109/APEDE48864.2020.9255414.
12. Bolshakov A. A., Klyuchikov A. V. Decision sup-port system for selecting designs of autostereoscopic dis-plays // Studies in Systems, Decision and Control. Design and Application for Industry 4.0. Springer Nature Switzer-land AG 2021. 2021. V. 342. P. 73-88.
13. Chugunkov I. V., Kabak D. V., Vyunnikov V. N., Aslanov R. E. Creation of datasets from open sources // Proceedings of the 2018 IEEE Conference of Russian young researchers in electrical and electronic engineering. EIConRus 2018 (Moscow and St. Petersburg, Russia 29 January 2018 - 01 February 2018). URL: https://ieeexplore.ieee.org/document/8317091 (data obra-scheniya: 20.01.2023).
14. Dudyrev F. F., Maksimenkova O. V. Simulyatory i trenazhery v professional'nom obrazovanii: pedagogicheskie i tehnologicheskie aspekty // Vopr. obrazovaniya. 2020. № 3. S. 255-276.
15. Dawley L., Dede C. Situated learning in virtual worlds and immersive simulated // Handbook of research on educational communications and technology. N. Y.: Springer, 2017. P. 723-734. DOI:https://doi.org/10.1007/978-1-4614-3185-5_58.
16. Svedeniya o postradavshih na proizvodstve v 2019-2021 gg. na territorii RF. URL: https://clck.ru/34AcUg (data obrascheniya: 22.01.2023).
17. Lerner D., Mohr S., Schild J., Göring M., Luiz T. An Immersive Multi-User Virtual Reality for Emergency Simulation Training: Usability Study // JMIR Serious Games. 2020. V. 8 (3). e18822. URL: https://games.jmir.org/2020/3/e18822 (data obrascheniya: 20.01.2023).
18. Bracq M., Michinov E., Arnaldi B., Caillaud B., Gibaud B., Gouranton V., Jannin P. Learning procedural skills with a virtual reality simulator: An acceptability study // Nurse Education Today. 2019. V. 79. P. 153-160. URL: https://doi.org/10.1016/j.nedt.2019.05.026 (data obrascheniya: 20.01.2023).
19. Mamaeva E. A., Masharova T. V., Usova N. A., Aslanov R. E. Forming Project Management Skills by Col-laborating with Students in Smartsheet // European Journal of Contemporary Education. 2022. V. 11 (2). P. 432-445. URL: http://doi.org/10.13187/ejced.2022.2.432 (data obrascheniya: 20.01.2023).
20. Soboleva E. V., Suvorova T. N., Grinshkun A. V., Bocharov M. I. Applying gamification in learning the basics of algorithmization and programming to improve the quality of students' educational results // European Journal of Contemporary Education. 2021. V. 10. N. 4. P. 987-1002. URL: http://doi.org/10.13187/ejced.2021.4.987 (data obrascheniya: 20.01.2023).
21. Aslanov R. E., Bol'shakov A. A., Grinshkun A. V. Primenenie tehnologii virtual'noy real'nosti v inklyuzivnom obrazovanii lic s polnym ili chastichnym porazheniem nizhnih konechnostey // Vestn. Ros. un-ta druzhby narodov. Ser.: Informatizaciya obrazovaniya. 2022. T. 19. N. 3. S. 208-223. URL: http://doi.org/10.22363/2312-8631-2022-19-3-208-223 (data obrascheniya: 20.01.2023).
