Метавселенные рядом – нужно только знать, куда смотреть. Один из проектов Sber AR/VR Lab в 2021-м
Привет! Я Алексей Рыбаков, руководитель направления в Sber AR/VR Lab.
И, прежде чем рассказать о том, что мы делали, нужно коротко пояснить смысл заголовка. А точнее — смысл слова «метавселенная».
Это понятие хорошо описал Цукерберг: «Метавселенная — это воплощённый интернет, где вместо того, чтобы смотреть на интернет, вы находитесь в нём». Как параллельная вселенная, куда может попасть или сам человек с помощью AR/VR-гаджетов, или его 3D-аватар.
Иначе говоря, метавселенная — это одновременно и виртуальное пространство, и способ взаимодействия с его объектами, минуя привычное комбо «экран + клавиатура / мышь / сенсор».
И да, метавселенные действительно рядом. Но чтобы туда попасть, нужна пара вещей. Во-первых, нужно знать, куда смотреть. Расскажем чуть позже на примере одного любопытного кейса в Москве. А во-вторых, нужна технология, которая позволит связать виртуальный мир с реальным. И о ней тоже расскажем.
Итак, позвольте представить: VPS.
Что за технология такая — VPS
VPS (Visual Positioning System) — это технология визуального позиционирования, которая определяет положение пользователя и направление «взгляда» камеры вашего телефона, когда вы направляете её на мир в известной локации. Характеристики, которыми она обладает, крайне важны для того, чтобы «соединить» виртуальный мир с реальным. VPS позволяет получить позицию пользователя с точностью до 0,5 метра, работает в помещении и на улице и, что главное, даёт информацию не только о том, где находится пользователь, но и куда он в данный момент смотрит. Всё это позволяет отобразить дополненную реальность с высокой степенью «привязки» к реальному миру.
Сейчас основная технология, которая позволяет определять местоположение — это GPS. У нее есть большой плюс в том, что не нужно заранее готовить пространство. Но есть и большой минус — данных GPS недостаточно для задач из метавселенной, так как GPS предоставляет только широту и долготу положения пользователя. А для точного позиционирования AR-слоя нужно понимать, куда пользователь в данный момент смотрит из этой точки. Кроме того, GPS крайне неточен в помещениях, что лишает разработчиков возможности отображать AR-слой. VPS работает только на известной ей локации, то есть пространство должно быть заранее отсканировано и загружено в сервис. При этом сейчас никакого специального оборудования для сканирования не нужно. По сути, это просто съёмка видео. Мы снимаем на обычную непрофессиональную 360-камеру. Она недорогая и удобная, потому что сразу смотрит во все стороны, а съёмка занимает мало времени. К этому, конечно, пришли не сразу. Начинали мы с лазерного сканирования, которое жутко дорогое и занимает кучу времени. Затем пробовали снимать на iPad с LiDar и подключением внешних датчиков, но это тоже всё было не сильно лучше. Сейчас дорога до локации занимает больше времени у наших скаутов, чем само сканирование, что очень радует. На, а если локация маленькая, вы можете снять её хоть на свой телефон.
Вполне вероятно, что вы пока не слышали про эту технологию, а сокращение VPS для вас означает virtual private server и никак иначе. Неудивительно, если так. Рынок VPS пока что откровенно пустоват. Из более-менее известных кейсов можно назвать маршруты в дополненной реальности в картах на iOS 15 и проект Local Lenses от Snap. Но эти компании не предоставляют своё решение для внешних разработчиков. Мы же даём возможность любым разработчикам использовать наш сервис визуального позиционирования в своих проектах.
Прямо сейчас можно заполнить заявку на SmartMarket и написать нам, что вы хотите получить доступ к тестированию VPS для своего проекта. Мы отсканировали несколько популярных локаций по Москве и готовы предоставить возможность визуальной локализации на них совершенно бесплатно в целях знакомства с технологией.
Специально для лёгкой интеграции VPS в ваш проект мы разработали SDK под основные платформы: iOS, Android и Unity, с которыми вы уже сейчас можете ознакомиться в нашем публичном репозитории на GitHub. Жду ваших писем, вопросов и фидбека по тестированию!
Как технология работает для пользователя
VPS имеет много возможностей. Рассмотрим одну из самых очевидных — построение точных маршрутов навигации на улице, и, что раньше было почти невозможно, навигации в помещениях.
Представьте: вы вышли из метро на большой площади, и надо понять, где тут выпить кофе. Вы запускаете на телефоне приложение. 3D-персонаж в дополненной реальности показывает маршрут до ближайшей кофейни и предлагает пройти с ним. Подобный кейс сейчас реализован Apple Maps на iOS 15, пока это работает в крупных городах США и Великобритании.
И вы как пользователь получаете не просто информацию в формате «Через 200 метров поверните направо», как сказала бы GPS. Сервис, который использует VPS, показывает вам: «Иди сюда. Правее. Тут велодорожка, не убейся об велосипедиста. Теперь поднимись по лестнице. Нет, не по центральной, а сбоку. Нужная тебе дверь — вторая справа».
Или в игре-квесте получаете помощь от виртуального персонажа, который появляется строго в определённой локации. VPS может улучшить и уже популярные AR-игры, такие как Pokémon Go. Представьте: спрятать покемона можно не просто в определенном районе, а на конкретном месте — например за памятником или перед дверью ресторана. То есть расширяются и концептуальные, и рекламные возможности игр с дополненной реальностью. К слову, разработчик Pokémon Go, компания Niantic, активно работает над своим VPS и запустила проект Lightship в мае этого года.
Плюс к этому мы с нетерпением ждём, когда AR-устройства станут дешевле, доступнее и удобнее по форм-фактору. Metaverse и подобные платформы дадут новый толчок для VPS. А при текущей скорости развития отрасли AR это вопрос уже не десятилетий, как казалось недавно, а ближайших лет.
Где можно посмотреть пример работы VPS? Где гигантский робот?
А вот теперь мы добрались и до робота! Если коротко — его можно увидеть в центре Москвы, над зданием Политехнического музея, если у вас iPhone. А теперь — к подробностям.
Мы нашли друг друга. Музей хотел взаимодействовать со своей аудиторией, пока его главное здание на Новой площади закрыто на реконструкцию. А нам хотелось прикрутить VPS к чему-то большему, чем внутреннее приложение для сотрудников. В общем, всё сложилось. Сейчас, когда работы внутри здания ещё продолжаются, Политехнический музей решил выкатить с нашей помощью тизер обновленного пространства и рассказать о нём через своё новое мобильное приложение. Попасть в здание музея всё ещё нельзя, но с помощью мобильного приложения «Политехнический музей» уже можно сделать кое-что интересное. Отметим: пока есть только версия для iOS, релиз под Android — в процессе. Концепция проекта разрабатывалась совместно: музей делал мобильное приложение, а лаборатория отвечала за 3D-графику и сервис VPS. Вот немного контента из приложения:
Как это будет выглядеть?
Вы скачиваете приложение «Политехнический музей».
↓
Запускаете его и наводите камеру на здание. Кстати, алгоритм работает с любой стороны здания. Разве что сверху — не факт, на летающих пользователях не тестировали. А ещё предлагаем потестировать при разном освещении и погоде. Даже ночью в дождь VPS распознаёт Политех и накидывает сверху робота.
↓
Мы берём кадр с камеры и одновременно проверяем по GPS, что вы рядом с музеем, а не просто показываете телефону фотографию. Если в ком-то проснётся дух тестировщика: «А что будет с фотографией и fake GPS?» — поделитесь в комментариях, удалось ли обмануть систему.
↓
Всё ок и геолокация верная? Тогда предобрабатываем кадр на устройстве и получаем набор уникальных точек с этого кадра.
↓
Отправляем эти точки на наш облачный сервер.
↓
Сопоставляем эти точки с цифровым сканом местности и определяем местоположение и направление поворота камеры пользователя. А дальше передаём полученные координаты в ваше приложение, где через SDK преобразовываем их в координаты используемого вами 3D движка.
↓
Над зданием Политеха вы видите огромного робота Сепульку — маскота Политеха. А если поймаете один из объектов, что летают вокруг него, то сможете взаимодействовать с основным контентом приложения — смотреть AR-залы и часть экспонатов.
Какие сейчас видим ограничения у VPS
Для работы алгоритма нужны фичи, то есть уникальные объекты и их сочетания, за которые можно зацепиться. Если показать алгоритму голую стену, он начинает жаловаться на жизнь и просит показать что-то ещё вокруг. Обычный покрашенный в белый цвет коридор без дверей превращается для него в «коридор смерти». Впрочем, такой дизайн сейчас редкость даже в промышленных и складских помещениях.
Технология VPS находится на этапе тестирования, поэтому она не всегда бывает точной. Мы продолжаем изучать различные подходы к локализации и постоянно улучшаем её.
И зачем мы это всё рассказываем?
VPS — будущее мобильных AR-технологий. И мы бы хотели посоветоваться с вами относительно этого будущего. Может быть, у вас появятся идеи и предложения, как VPS сделает жизнь проще и интереснее. Любые идеи — от деловых до абсурдных. Будем рады мыслям на этот счёт! Связаться с командой VPS можно через форму на нашей странице на SmartMarket.
