Intel RealSense посвящается
В конце августа исполнительный директор Intel Пэт Гелсингер заявил, что в рамках процесса реструктуризации компании она будет отказываться от развития непрофильных технологий, в число которых попал, в том числе, RealSense. Это нас сильно огорчило, ведь по ряду причин редакция блога питает к RealSense глубокие и давние чувства. Поэтому, хоть такой формат и не свойственен блогу Intel, мы решили написать что-то типа памятного поста и рассказать о вчерашнем и сегодняшнем дне технологии, а также порассуждать о том, почему в рамках Intel у нее не состоялся завтрашний.
Чтобы показать контекст происходящего, приведем слова Гелсингера целиком.
Я хочу инвестировать в те области, которые поддерживают основные бизнесы компании: дата-центры, пользовательские компьютеры, графику, производство чипов и беспилотное управление. Если технология подходит для какого-то из этих шести направлений, я буду в нее инвестировать. Если нет, то не буду. Что же касается RealSense, то здесь получено ряд хороших результатов, которые мы могли бы использовать, но для основных направлений они не подходят.
С этим утверждением можно было бы поспорить: по крайней мере к области беспилотного управления RealSense имеет несомненное отношение, если мы говорим про роботов и дронов. Но теперь, когда решение уже принято, остается только вспоминать и анализировать.
Intel RealSense — вчера
Первое упоминание технологии относится к октябрю 2012 года — именно тогда на сайте Intel появилась первая бета-версия Intel Perceptual Computing SDK. А уже в январе 2013, буквально вместе со второй бетой, у нас в блоге появилась статья о ней. Нам (блогу) повезло, что технология развивалась, в том числе, силами московской команды Intel, и источники знаний были совсем близко.
Первая версия PerC SDK поддерживала следующие возможности:
- Распознавание жестов, положения рук, пальцев, уровень открытости ладони
- Отслеживание положения лица, определение контрольных точек (губы, нос, глаза), идентификация («узнавание») лица
- Отслеживание положения 2-х и 3-х мерных объектов
Первоначально Intel использовала оборудование третьих фирм, таких как Creative, позже перешла на собственное.
Буквально сразу же компания включила PerC/RealSense в число своих приоритетов и уже в 2013 году провела конкурс среди разработчиков с впечатляющим призовым фондом в один миллион долларов.
RGB-фото и карта глубины для него
2014 год ознаменовался сменой названия на современный RealSense, очередным конкурсом для разработчиков и стартом череды хакатонов, митапов и прочих мероприятий, которых в ближайшие годы будет проведено видимо-невидимо. В продвижение технологии действительно было вложено немало сил и средств.
В 2015 появились две камеры RealSense, которые сейчас можно назвать «классическими»: задняя R200 и передняя F200. Это был, пожалуй, золотой век RealSense: энергично обновлялся SDK, выходили новые драйвера, демонстрировались прототипы «железа», RealSense планировалось внедрить в смартфоны и ноутбуки. Мы в промышленном масштабе выпускали туториалы для разработчиков, о нюансах программирования под RealSense нам тогда хорошо рассказал один из первопроходцев-пионеров.
Intel RealSense — сегодня
Если считать «условным сегодня» отрезок времени вглубь на год-два, то этот период времени также нельзя считать для RealSense застойным или кризисным — как говорится, ничто не предвещало беды. Да, мероприятий стало меньше — это характерно сейчас не только для RealSense. А вот новые камеры продолжали выходить регулярно.
Intel RealSense 435i со встроенным инерционным датчиком IMU (Inertial Measurement Unit) для использования в движущихся устройствах.
Intel RealSense Tracking Camera T265 — принципиально новое устройство без ИК-системы, оснащенное двумя сверх широкоугольными объективами типа «рыбий глаз», 6-осевым инерционным датчиком IMU и специализированным VPU (Visual Processing Unit) Intel Movidius Myriad 2 в качестве центрального вычислителя.
Intel RealSense LiDAR L515 — первый LIDAR в линейке RealSense, использующий технологию зеркального сканирования MEMS разработки Intel.
Intel RealSense Depth Camera D455 — классическая камера глубины, улучшенная и исправленная, вышедшая буквально полгода назад.
Как видим, в нынешнем портфолио Intel RealSense имеется достаточное количество камер на все случаи жизни, различных по принципу действия.
Более того, пару месяцев назад, в августе 2021 компания Xiaomi выпустила робособаку CyberDog — четвероногую платформу с открытым кодом и Intel RealSense D450 в качестве органов чувств.
Intel RealSense — завтра
Что же произошло с RealSense и почему? Не будем ограничиваться общими словами, которые уже сказал Пэт Гелсингер. При этом, мнение ниже будет исключительно нашим собственным. Всё, как написано в шапке блога.
3D модель vikky13, созданная в 2015 году с помощью камеры Intel RealSense компанией Itseez3D.
Основным предназначением RealSense было добавление третьего измерения в повседневную практику взаимодействия пользователей с компьютером, а также участие в создании и потреблении 3D контента. Вообще, попытки внедрения цифрового 3D-опыта в жизнь масс предпринимаются различными компаниями в различных областях, например, VR-шлемах, еще с прошлого века. Но все они, увы, оказываются не супер-успешными. То есть, ярко взлетев, спустя пару лет, в лучшем случае, занимают свою узкую нишу, а в худшем — вообще исчезают (на самом деле впадают в спячку, чтобы потом возродиться на новом витке развития технологий). Вот несколько примеров: Вы часто пользуетесь Windows Aero Glass 3D интерфейсом? Вы давно смотрели 3D фильм на TV или в кино? Вы слышали, что Microsoft недавно решил удалить отображение папки 3D-объектов из Проводника Windows 10? А в самой этой папке у вас было что-нибудь?
Почему так происходит? Дело тут и в человеческой природе и в уровне развития техники. Играет роль как неидеальность создаваемого/распознаваемого 3D, что приводит к физическому и психологическому дискомфорту пользователей, так и отсутствие реальной массовой необходимости, оправдывающей покупку и использование соответствующей техники. То есть, можно сказать, что третье измерение в компьютерной жизни пользователей пока, увы, отрезается бритвой Оккама.
А с другой стороны, даже в тех случаях, когда данные о глубине могли бы добавить реальную ценность распространенному пользовательскому опыту, технологии, подобные RealSense вытесняются… программными решениями. В том числе и созданными Intel. Достижения последних лет в глубоком машинном обучении и компьютерном зрении позволяют эффективно «создавать глубину» по изображениям с обычных двумерных камер. То есть, для замены фона при видеозвонках или обеспечения дополнительной надежности распознавании лица сейчас широко используются нейросети, а не 3D-камеры.
Соответственно, поэтому RealSense за 10 лет своего существования так и не смог выйти из стен лабораторий на «большую дорогу» и попасть в коммерческие цифровые устройства, камеры RealSense так и остались в категории DIY.
За что же мы, редакторы блога Intel, так любили RealSense? Наверное, за то же, за что он был отправлен в отставку. Это было очень непохоже на все остальное, что делал Intel. Шутка ли: с момента появления первого поста мы опубликовали свыше 60 статей, посвященных RealSense.
Жаль, что эта оказалась последней.
