Обзор функций шлема смешанной реальности Microsoft HoloLens24.06.2016 19:37

Microsoft HoloLens — первый шлем смешанной реальности (Mixed Reality) и первый продукт Microsoft, работающий в операционной системе Windows 10 и подсистеме Windows Holographic.

Сейчас устройство доступно по цене в $3000 за Development Edition исключительно для разработчиков в США и Канаде в рамках программы предзаказов, отгрузка по которым началась только в апреле и которые уже распроданы на полгода-год вперед. Нам в Game Insight удалось достать устройство и даже привезти его в Россию одними из первых. Ну, а так как HoloLens — самый что ни на есть инновационный продукт, разбираться с ним выпало мне.

Разработка HoloLens предположительно была начата в Microsoft Research и потом была продолжена в ANALOG — команде, изначально сформированной внутри группы Xbox и состоящей преимущественно из инженеров, работавших над Kinect. Разработка ведется уже более семи лет, и ее удалось сохранить в секрете до момента релиза, что в современном мире большая редкость.

В отличие от большинства девайсов на рынке, это автономное устройство на Windows, которое работает от батареи около пяти часов (в зависимости от нагрузки). HoloLens не требует подключения к компьютеру через кабель, а все вычисления производятся на самом устройстве с помощью CPU и GPU.

Работа со всеми сенсорами осуществляется при помощи встроенного чипа HPU (Holographic Processing Unit), который был разработан специально для HoloLens и служит для обработки информации на аппаратном уровне. Это уникальный в своем роде чип, позволяющий обрабатывать гигабайты пространственных данных, по сути, на мобильном устройстве.

К примеру, Kinect 2.0 с помощью двух своих камер и сенсора создает такое количество RAW-данных, что шина USB 3.0 не успевает передавать их на ПК в реальном времени, а их потом еще нужно обработать. А теперь представьте, что HoloLens содержит в три раза больше сенсоров, часть из которых отвечает за позиционирование в пространстве, часть — за контроль положения головы, а часть — за позиционирование голограмм.

Смешанная реальность и голограммы в концепции Microsoft позволяют дополнить пространство вокруг нас трехмерными объектами, которые могут не просто «болтаться в воздухе», как в обычном варианте дополненной реальности, а органично вписываться в интерьер и взаимодействовать с ним. HoloLens имеет очень высокую точность позиционирования и учитывает особенности человеческого восприятия комбинации из реальных объектов и изображения на дисплеях. Именно благодаря этому голограммы выглядят такими стабильными.

Проще говоря, когда перед вами голограмма земного шара, она не просто висит в воздухе, а привязана к какой-либо поверхности, и вы можете спокойно обойти ее, рассмотреть со всех сторон, а также повертеть в разных плоскостях — на то она и голограмма.

Две ключевые технологии, которые позволяют обеспечить максимальную реалистичность взаимодействия с голограммами, — Spatial Audio и Spatial Mapping.

Spatial Audio — интеллектуальное позиционирование источников звука в пространстве для создания эффекта присутствия. Если в одном углу вашей комнаты находится виртуальная собака, то ее лай будет доноситься именно из этого угла, а не просто звучать вокруг пользователя. Открытый формат реализации динамиков позволяет создать этот эффект без ущерба для окружающей реальности: помимо собаки вы спокойно будете слышать человека, который говорит вам что-то из другого угла той же комнаты.

Spatial Mapping — технология пространственного сканирования, аналогичная Surface reconstruction. HoloLens сканирует окружение и преобразует реальные поверхности вокруг себя в совокупность треугольников (мэши), обеспечивая возможность виртуальным объектам взаимодействовать с ними. Происходит своеобразное 3D-сканирование пространства, а виртуальная модель помещения сохраняется в памяти устройства и впоследствии используется в логике работы приложений.

Анпакинг

Комплект доставляется в большой коробке, в которую упакованы две коробки поменьше: в одной находится HoloLens в футляре, а в другой — кликер. В переносном защитном футляре, повторяющем форму девайса, находится зарядное устройство, салфетка для протирки стекол, а также несколько сменных элементов.

Само устройство состоит из двух основных деталей — рамки и визора. Рамка имеет механизм регулировки и настраивается под каждого пользователя с помощью специального колесика. У визора есть запас хода относительно рамки, он настраивается на уровне глаз человека.

На боковых частях визора размещены стереодинамики, передающие звук в режиме 3D, обеспечивая достоверную передачу звуков от голограмм, находящихся в пространстве вокруг пользователя. Это называется Spatial Sound, и об этом я расскажу немного позже.

В передней части визора находятся оптические и инфракрасные камеры, различные оптические сенсоры и датчики освещенности.

В задней части — кнопка питания и индикатор заряда батареи, порт для подключения зарядного устройства (microUSB), а также разъем для наушников.

Проекционные экраны визора выполнены на базе технологии волноводной оптики — она считается одним из самых современных способов визуализации изображения с сохранением прозрачности поверхности.

Использование

Для начала работы с устройством его нужно правильно закрепить на голове, а потом включить кнопкой на торце визора. При первом включении необходимо авторизоваться с помощью Microsoft Account и провести калибровку визора в соответствии с персональными характеристиками.

В течение всего процесса настройки вам помогает виртуальный помощник Cortana, который учит пользоваться жестами и рассказывает о возможностях устройства. Стандартных жеста два: это Air Tap — виртуальное касание пальцем, имитирующее клик, и Bloom — раскрытие ладони, вызывающее Start-меню.

После инициализации перед нами появляется стандартное Start-меню с тайлами, почти такое же, как в обычной Windows. Из меню можно запускать приложения, управлять настройками и выполнять все стандартные базовые действия.

Приложения для устройства скачиваются и ставятся из Microsoft Store, специально адаптированного под HoloLens. Пока приложений под Holo не очень много, большинство из них разработано в Microsoft Studios для демонстрации возможностей устройства.

Несмотря на ограниченный набор нативных приложений, большинство универсальных (UWP) приложений и игр от Windows 10 тоже спокойно запускаются и работает в оконном режиме. Для удобной работы, разумеется, потребуются мышка и клавиатура (или геймпад), но это совершенно не влияет на опыт использования.

На сегодняшний день HoloLens позиционируется в основном как устройство для корпоративной разработки с участием глобальных партнеров типа NASA, Volvo, Disney и Universal. Соответственно, корпоративные клиенты — первая целевая аудитория HoloLens, за которой потенциально последует запуск устройства в розничные каналы.

Из заметных ограничений — достаточно скромный угол обзора: порядка 30−37 градусов. Об этом пункте уже много написано, и он обсуждается как ключевой в списке необходимых доработок HoloLens. Но если провести в шлеме некоторое время, угол обзора перестает создавать дискомфорт: это сравнимо с адаптацией к горнолыжной маске или плавательным очкам.

Во многом это зависит не только от технологических ограничений волноводной оптики, но и от особенностей человеческого глаза, его фокусировки, периферийного зрения и того, как наш мозг воспринимает визуальную информацию. К счастью, прогресс не стоит на месте, поэтому хочется верить, что в следующих версиях устройства угол обзора станет больше.

Влияние на игровую и смежные с ней индустрии

Многим в игровой индустрии интересно, что же случится с рынком, когда на нем появится HoloLens. Запуск устройства на массовый сегмент рынка запланирован только через несколько лет, поэтому делать прогнозы с текущей динамикой — дело неблагодарное.

Если посмотреть на рынок сегодня, то мы увидим, как VR шагает по планете и как многомиллионные бюджеты тратятся на битву за умы игроков (как на ПК, так и на мобильных платформах). Мы в Game Insight постоянно изучаем новые технологии, пробуем разные девайсы и стараемся оценить перспективность тех или иных подходов.

Мобильная VR старается приблизиться по возможностям и производительности к стационарной VR, что видно, к примеру, из анонса платформы Google DayDream. Стационарная VR, наоборот, пытается добавить себе мобильности и уместить полноценный мощный игровой ПК в форм-фактор рюкзака.

При работе с голограммами, в отличие от работы с VR, требуется держать в голове тот факт, что игрок должен взаимодействовать с окружающим миром и динамически подстраивать игру под среду. Немного легче будет тем, у кого есть опыт процедурной генерации ландшафтов и игровых сценариев. Все это существенно сложнее, чем просто нарисовать сцену в Unity, повесить туда VR-камеру и начать играть.

Несмотря на эти сложности, платформа дает безграничные возможности для полета фантазии. Можно строить огромные миры прямо на своем журнальном столике, прорубать окна в новые неизведанные миры прямо в собственной гостиной, объединять несколько устройств по сети и играть в голографические игры в режиме мультиплеера, да и мало ли что еще.

VR или голограммы

В поисках ответа на этот вопрос стоит обозначить разницу между VR (Virtual Reality), AR (Augmented Reality) и MX\Holograms (Mixed Reality).

Виртуальная реальность (VR) называется виртуальной именно потому, что она синтезирована и полностью подменяет нашу реальность той сценой, в которую нас хотел поместить автор игры или приложения. Мы надеваем шлем и отключаемся от реальности.

Дополненная реальность (AR) — проекция двухмерных или трехмерных объектов перед глазами пользователя, в большинстве случаев без привязки к окружающему миру или с привязкой через специальные маркеры. Простейшие варианты дополненной реальности мы можем видеть даже при съемке на смартфон, когда умная программа камеры автоматически определяет и обводит квадратиками лица людей. Самым понятный пример очков в данном случае — Google Glass, который не очень «выстрелил» на рынке.

Смешанная реальность, или голограммы (MR), комбинирует два этих подхода и привязывает виртуальные объекты к реальному пространству. Кто-то называет это дополненной виртуальностью, кто-то — смешанной реальностью, а Microsoft использует термин Holograms. Google идет похожим путем с проектом Google Tango, однако с немного другим списком целевых сценариев и форм-фактором устройств.

Билл Гейтс в рамках своего спецпроекта на Reddit написал на эту тему: VR is the extreme case of AR when nothing from the real world gets mixed in. Это достаточно логично, если представить, что мы подменяем вашу гостиную любой другой виртуальной комнатой, оставляя все виртуальные объекты (голограммы) на тех же самых местах, но запускаем ее на шлеме типа Oculus Rift или Vive.

Следуя этому принципу, буквально неделю или две назад Microsoft анонсировала доступность платформы Microsoft Holographic для всех типов VR-, AR- и MR-устройств, предоставив пользователям самых разных шлемов возможность взаимодействовать друг с другом в виртуальной среде.

Однозначного выбора сделать не получится: правда всегда будет где-то посередине. Через 7−10 лет нас всех ждет безумно интересное и технологичное будущее, которое мы раньше видели в фантастических фильмах. Забавно, насколько это избитая фраза и насколько иначе я стал ее воспринимать, впервые примерив HoloLens.

Если вы хотите написать материал для рубрики «Рынок игр», рассказать о разработке своей игры или кейсе её роста, присылайте материал на games@vc.ru.