Придумана система EgoTouch для замены VR-контроллера на ваши руки
В обычной жизни никто не ходит с портативным контроллером или всплывающим перед глазами меню, так зачем мириться с подобными ограничениями в виртуальной реальности? Аспирант Вимал Моллин из Университета Карнеги-Меллона представил технологию EgoTouch, которая размещает «сенсорные экраны» прямо на телах VR-пользователей. Задумка не только убирает лишние окна, но и отличается скоростью, точностью и эргономикой в сравнении с обычным дизайном.
Одна из основных проблем нательных интерфейсов в необходимости использовать камеры с датчиками глубины, которые будут отслеживать местоположение конечностей пользователя. Но EgoTouch идет по простому пути и эксплуатирует уже готовую оптическую RGB-камеру, установленную на VR-гарнитуре. Остается дело за малым: уловить тени и деформации кожи, когда палец нажимает на ладонь, а после наложить поверх виртуальное меню.
Чтобы обучить алгоритм улавливать изменения кожи, команда Моллина собрала группу добровольцев. Те, в свою очередь, примерили RGB-камеры на голову, закрепили сенсорный датчик на пальце и просто тыкали в различные места на своей руке. По итогу система научилась определять не только место прикосновения, но и интенсивность с длительностью. Более того, с разными оттенками кожи, густотой волос и освещением.
«Впервые мы создали систему, которая использует камеру, уже установленную во всех VR-гарнитурах. Наши модели не требуют калибровки и работают прямо из коробки. Теперь мы можем опираться на предыдущие работы по созданию интерфейсов на коже и сделать их реальными»Вимал Моллинавтор работы, аспирант из Университета Карнеги-Меллона
Интересный факт: недавно ученые создали виртуальную муху. Насекомое полностью копировали и с высокой точностью перенесли в цифровую среду, чтобы больше узнать о его мозговой активности.
