VR-тренажёры и иммерсивное обучение
Примерно в течение 20 лет после выхода «Матрицы» я весьма снисходительно относился к технологиям виртуальной реальности, пока с удивлением не обнаружил, насколько VR-игры занимают моего одиннадцатилетнего сына. Ещё пару лет назад мы с ним посмотрели по его инициативе довольно увлекательный киберпанк «Первому игроку приготовиться», а затем я начал читать, но в итоге подарил ему книгу Джарона Ланье «На заре новой эры». С тех пор мы не раз говорили о том, что VR — это не только игры, но и профессиональная подготовка, а также я пытался доходчиво объяснить сыну разницу между виртуальной и дополненной реальностью. Эти беседы и поиск ответов «на выход из плоскости» в итоге сложились в материал для хабропоста. Действительно, виртуальная реальность незаменима при изучении некоторых опасных профессий в силу того, насколько пластичными оказываются человеческая биомеханика, координация и вестибулярный аппарат.
По состоянию на октябрь 2023 года более 2/3 рынка VR-устройств приходится на игры и развлечения. Но постепенно такая техника становится дешевле и доступнее:
В настоящее время VR-шлемы от некоторых производителей, в частности, от Oculus Rift, уже являются не дорогими игрушками, а рабочим инструментом. Развивается разработка VR-приложений на Unity (вводная статья на Хабре и книга издательства «Packt Publishing»). Новейший софт для работы в виртуальной реальности предназначен не только для игр, но и для дизайна, оттачивания профессиональных умений, в том числе, в опасных профессиях и в деятельности, где важно выработать мышечную память и довести навыки до автоматизма. Прикладная виртуальная реальность развивается параллельно с дополненной (VR/AR), и здесь мы также не будем явно отделять эти технологии друг от друга.
В некоторых предметных областях VR позволяет принципиально удешевить обучение, в то же время сильно расширив разброс рабочих сценариев. Обладая фиксированным набором VR-ресурсов, создаваемых как объекты 3D-графики, можно практически бесконечно компоновать их методом процедурной генерации помещений и ландшафтов. Такие сценарии легко изучать дистанционно (через Интернет), поэтому ощутимые инвестиции в разработку можно покрывать экономией на внедрении и эксплуатации.
Первые образцы VR-тренажёров
Первые попытки использовать VR-шлемы в обучении относятся к 1990-м годам. Именно в этот период Nintendo разрабатывала первые полностью иммерсивные VR-игры, а в NASA такая технология казалась перспективной для обучения пилотированию военной авиации, а также для привыкания к работе в невесомости. Обучение в VR-среде — это безопасное и эффективное приобретение опыта, где исключается как (смертельная) опасность для неопытного человека, так и повреждение дорогостоящей техники. Есть серьёзные сомнения в реалистичности тех ощущений, которые пилот испытывает при VR-тренировках, на чём я ниже остановлюсь подробнее. Тем не менее, в качестве предварительной тренировки и своеобразного «обучения с подкреплением» VR-технологии удивительно способствуют безопасному освоению лётной профессии в контролируемых условиях.
Традиционный лётный симулятор даёт реалистичные ситуативные условия, давая пилоту обзор на 360° при помощи вот такого расположения экранов. Тренировочный кокпит также создаёт иллюзию движения и качки, но такие приборы также очень сложны и дороги в реализации, а VR-тренажёр позволяет имитировать движение самолёта как по горизонтали, так и по вертикали, давая область обзора даже более 360°. VR-симулятор в силу своей реалистичности более удобен для отработки опасных ситуаций. Также лётчику необходимо осваивать одновременное взаимодействие с разнообразной сложной электроникой: электронным компасом, электронной картой, на которой вручную корректируется масштаб, а также учиться переключать радиочастоты. Все эти приборы должны быть реалистично расположены, и для воспроизведения их конфигурации нужно либо собирать полноценную кабину, либо можно реализовать всю приборную панель в VR — что при современном развитии технологий вполне удобно. Правда, управлять такой VR-панелью приходится в VR-перчатках, громоздких и неудобных.
Упрощённый лётный симулятор конструируется так: в натуральную величину воспроизводится кабина пилотов, устанавливаемая на шестиногой платформе, которая даёт кокпиту шесть степеней свободы. Пилот видит перед собой три-пять дисплеев, на которых может отображаться небо или взлётно-посадочная полоса и рулёжные дорожки.
Полнопилотажный тренажёр самолёта Sukhoi Super Jet
Полнопилотажный тренажёр (FFS) устроен гораздо сложнее, в нём реалистично реализованы не только обзор, но и визуальные эффекты, связь и воздушный трафик. Так, на FFS можно сымитировать обтекание фюзеляжа потоками воздуха, а пилоты могут отрабатывать упражнения по ориентации в пространстве. Такой FFS от Airbus, который показан ниже, даёт 180°-й обзор, аналогичный виду со спутника, и на картинке демонстрируются все важные объекты аэропорта.
Как видите, полнопилотажный симулятор наилучшего (7-го) типа — это гигантская установка, которая весит несколько тонн и может стоить $ 10–12 миллионов, не считая эксплуатационных затрат. Кроме того, по мере выпуска новых моделей самолётов требуется постоянно модернизировать симуляторы. Обучение и переподготовка пилота оказываются настолько дорогостоящими, что VR-тренажёр превращается в реалистичную альтернативу FFS.
Противоречивые аспекты VR в авиации
В авиационной индустрии есть серьёзные разногласия по поводу эффективности VR-решений при обучении пилотов. Критики полагают, что полноценный FFS-симулятор заменить невозможно, так как пилот осознаёт нереалистичность тренировки, не чувствует вибрации кабины, не может потянуться за кислородной маской, а в рамках VR-тренировки, например, нельзя сымитировать заволакивание кабины дымом и удушье. В настоящее время нет убедительных доказательств, что VR-шлем эффективнее традиционных авиатренажёров, но в качестве видео-руководства виртуальные среды уже активно используются в школах пилотов. В 2021 году ВВС США впервые анонсировали тренировки военных лётчиков при помощи шлемов Microsoft HoloLens 2, а в 2022 году эту практику подхватила Австралия. Именно в таких тренажёрах активно задействуется не чисто виртуальная, а смешанная реальность, так как пилоту требуется отрабатывать поиск пути, захват цели, планирование миссии и ведение огня по движущимся целям, количество и расположение которых при этом меняются.
Представляется, что использование VR-технологий в авиации будет расширяться, так как имитация физического присутствия пилота в среде постоянно улучшается. В частности, достигаются более реалистичные тактильные ощущения, так называемая «силовая отдача», перекочевавшая в авиатренажёры из компьютерных игр. Также пользователь может воспринимать вибрацию, турбулентность и другие реалистичные аспекты полёта.
Накопленный к настоящему времени опыт применения VR в авиации показывает, что такие тренажёры особенно полезны для восстановления навыков у пилота, пережившего посттравматическое стрессовое расстройство. Авиасимуляторы для VR-тренировок уже портируются на мобильные устройства, а некоторые наиболее заметные программы для ПК я кратко охарактеризую ниже.
VR-софт для лётчиков
X Plane 11
Программа, имитирующая пилотирование легкомоторных самолётов. Обладает GUI высокого разрешения и даёт картинку с настолько проработанной детализацией, что при «посадке» пилот видит разнообразные объекты от шасси до отдельных заклёпок. На некоторых самолётах из этой программы полностью смоделирован симулятор Garmin 1000, где каждый самолёт снабжается полноценным 3D-кокпитом, в котором можно взаимодействовать со всеми приборами.
DCS World
Считается одним из наилучших авиасимуляторов для ПК, реалистичен и очень эффективен для онлайн-обучения частных пилотов. Обладает развитым сообществом на Youtube, предлагает подробную модель кокпита со всеми приборами, а также множество сценариев полёта на истребителях и штурмовиках, смоделированных по опыту ВКС в Сирии.
AeroFly2
Наряду с подробно проработанным кокпитом в Aerofly2 отлично реализована физика высшего пилотажа, 3D-графика (пейзажи юго-запада США), модель динамики полёта.
FSX Steam
Симулятор от Microsoft, отмеченный призами и наградами, адаптированный для платформы Steam. В Microsoft Flight Simulator X Steam Edition, поддерживаемом в Windows 8.1 и выше, поддерживается многопользовательский режим. Летать можно в 24 000 точек со всего мира. Программа имеет выраженную игровую специфику. В частности, в ней можно посоревноваться в авиагонках, полетать на планере или даже в каньоне с разными погодными условиями.
Wideview — симулятор с трансляцией картинки на несколько мониторов с обеспечением обзора на 360°, поддерживающий работу по локальной сети (неограниченное количество узлов), масштабирование изображения, а также синхронизацию с полётом реального воздушного судна, которым управляет пилот в воздухе.
Оперативное принятие решений
В медицине VR-тренажёры используются, прежде всего, для обучения хирургическим операциям. Таким образом практиканты не только приобретают уверенность и изучают анатомию «почти на практике», но и учатся не допускать грубых ошибок и действовать в экстренных ситуациях. При VR-тренировке врач учится быстро принимать решения, но в то же время спокойно осваивать рутинные действия, например, наложение швов. Согласно этому исследованию, модели органов и полостей в виртуальной реальности получаются не слишком реалистичными, поскольку конструируются на основе послеоперационных измерений и моделей, а не живых органов. Тем не менее, в некоторых областях, и в особенности в нейрохирургии, виртуальная реальность оказывается незаменимой, поскольку реальных моделей для обучения в достаточном количестве просто не найти. Такие программные пакеты как Immersive Touch оснащаются VR-скальпелем, действующим как джойстик, позволяют послойно анализировать раны, опухоли, дают тактильную отдачу и позволяют осваивать действия в экстренных ситуациях.
Одно из недооцененных достоинств VR-обучения заключается в задействовании сразу всех чувств, а не только зрения и слуха, как при большинстве традиционных занятий. При этом некоторые чувства и воздействия (удар, удушье, падение, огнестрельное ранение) могут имитироваться в доступном, но ослабленном и безопасном исполнении. Именно такой щадящий режим способствует применению VR в обучении пожарных. В таких контекстах, где отрабатывается скорость и точность принимаемых решений, особенно важен многопользовательский VR-режим, о котором я уже упоминал при описании авиатренажёров.
Новые предметные области для VR-обучения
Компания Shell сейчас лидирует во внедрении VR для обучения работе в нефтегазовой отрасли. В первую очередь отрабатываются процедуры эксплуатации оффшорной бурильной платформы, а также опасные ситуации: утечки нефти из танкера, пожары, вождение фур с цистернами. В нефтегазовой отрасли особенно важно усвоить и точно соблюдать регламентированные процедуры, нарушение которых в реальности может приводить к сбою работы и к нештатным ситуациям, а в VR, напротив, ограничивается обучающим эффектом.
Компания UPS одной из первых стала обучать при помощи VR водителей службы доставки, усложняя трафик и подставляя под «машину» неосторожных «пешеходов», а попутно выставляя водителям всё более строгие дедлайны на доставку.
Ещё одну узкую коллаборацию, в которой удалось применить VR-обучение сформировали в 2020 году компания Motive.io, Горно-технологический Институт штата Южная Дакота (South Dakota School of Mines and Technology) и американское «Управление по безопасности и охране труда при добыче полезных ископаемых» (MSHA). Участников обучали поведению в штольнях и распознаванию опасностей. По данным Motive.io, все курсанты нашли этот опыт увлекательным и хотели бы его повторить, а усвоение материала улучшилось на 32%.
Вовлечённость и удержание внимания
Поскольку VR-тренажёры сформировались на основе игровых устройств, сами программы и симуляторы идеально приспособлены для удержания внимания пользователя, сознательного, добровольного и глубокого абстрагирования от окружающих помех. Обучение получается динамичным и активным, зачастую воспринимается ярче, чем работа с традиционными тренажёрами. Именно поэтому гораздо лучше усваиваются знания и нарабатываются навыки.
VR-технологии не только изменяют и обостряют восприятие процесса со стороны пользователя, но и легко интегрируются с дополненной реальностью. Учебные модели можно сопровождать информационным слоем, который подобно сетке накладывается на изучаемую сцену, позволяет выводить подсказки или подробную справку о каждом элементе сцены. Процедурная генерация для VR позволяет не только воспроизводить учебное пространство в невероятных деталях, но и контролируемо открывать и блокировать пути (сценарии) выполнения задания. При этом виртуальные пространства по определению безопасны, не требуют возведения, ремонта и какого-либо пространства, а создаются в 3D-редакторе.
Экзаменатор, проверяющий выполнение задания или норматива получает не минимальную информацию «да/нет», но и может проанализировать:
1) Сколько времени понадобилось на выполнение конкретных этапов задачи
2) Где пользователь оказался дезориентирован
3) Как принимались решения, в каких случаях приходилось возвращаться к более раннему этапу
4) При массовом допущении одинаковых ошибок на одном и том же шаге — проверить, не спроектирован ли этот шаг с ошибкой, соответствует ли он требованиям реальной физической среды
Моторная память
Наконец, тренировки в виртуальной реальности способствуют наработке моторной памяти. В VR-шлеме не составляет труда бросить предмет (проверить, не разобьётся ли он), нажать последовательность клавиш, проверить, в какую сторону поворачивается рычаг, прохожу ли я сквозь проём, как станок обрабатывает или распиливает деталь, т.п. Практиковать навыки можно до полного усвоения, в особенности это важно при обучении опасному виду деятельности. Человек привык учиться на своих ошибках, и именно в виртуальной реальности хирург, пилот или пожарный может совершать любые ошибки, не навредив при этом ни себе, ни окружающим. В качестве особенно яркого примера приведу систему AMBUS, имитирующую в AR/VR режиме работу машины-неотложки. Вот как этот тренажёр выглядит «изнутри»:
Участники такой тренировки обязаны выполнить такой порядок действий:
1) Найти иглы для капельниц,
2) Найти беспроводные дисплеи для отслеживания жизненно важных функций
3) Найти безрецептурные препараты
4) Найти обезболивающие
5) Найти аптечку для купирования тяжёлых травм
6) Найти перевязочные средства
7) Найти огнетушитель
8) Найти кислородную подушку и регулятор подачи кислорода
9) Найти гигиенические принадлежности для пациента
10) Найти пелёнки
11) Найти рацию
В процессе выполнения этих операций у человека отслеживаются показатели ЭЭГ и ЭКГ, по динамике которых можно безошибочно отслеживать, насколько (не)уверенно он действует при очередном прогоне задачи. Процесс выглядит примерно так:
Заключение
Надеюсь, этот обзор убедил вас, что нейрофизиологические аспекты VR-симуляторов и полная безопасность иммерсивной VR-тренировки (даже в сравнении с традиционными тренажёрами) действительно открывают широкие перспективы использования виртуальной и дополненной реальности в обучении. Логично, что первые опыты такого были предприняты в одной из наиболее опасных сфер деятельности человека — аэрокосмической. Работая над этой статьёй, я, в частности, размышлял, позволит ли многопользовательская VR-тренировка открыть путь к «совместному использованию» мыслительных сил целой команды специалистов — то есть, заставить их работать как единый мозг, и, в конечном счёте, обмениваться мыслями или хотя бы рефлексами. Здесь мы имеем дело лишь с интересным побочным продуктом игровой индустрии, но можем в полностью контролируемых условиях проверить, как именно человек воспринимает реальность, и как этим можно управлять.
