Взгляд за угол: инженеры MIT научили обычный iPhone «видеть» объекты за углом
Исследователи из знаменитой лаборатории MIT Media Lab разработали способ использования обычных датчиков LiDAR, которые уже несколько лет встраиваются в смартфоны iPhone Pro и планшеты iPad Pro. Учёным удалось заставить потребительский сенсор распознавать и отслеживать объекты, находящиеся полностью за пределами прямой видимости камеры. Фактически технология позволяет мобильному устройству «видеть сквозь стены» и заглядывать за углы.
Подобный метод фиксации объектов вне зоны прямой видимости (NLOS-визуализация) концептуально существовал и раньше. Однако все предыдущие лабораторные демонстрации требовали громоздких, калиброванных оптических систем и сверхмощных, дорогостоящих лазеров стоимостью около $50 000, что делало технологию неприменимой в реальной жизни. Главная ценность новой работы команды MIT заключается в том, что они смогли повторить этот трюк на базе маломощного и дешевого серийного железа, доступного миллионам пользователей.
«Секретным ингредиентом» новой технологии стало обычное движение. Когда пользователь перемещает смартфон в пространстве, система одновременно фиксирует форму скрытого объекта, его текущую позицию и координаты самой камеры в динамике. Этот алгоритм авторы назвали «моделью апертурного сэмплирования под действием движения» (motion-induced aperture sampling). Он вдохновлён принципами пакетной макрофотографии и спутниковых радаров с синтезированной апертурой. Программа буквально склеивает серию зашумленных, хаотичных и слабых переотраженных сигналов в единую осмысленную картину.
Иллюстрация: Aaron Young / Siddharth Somasundaram / MIT Media LabНа выходе система выдаёт не чёткую глянцевую фотографию того, что спрятано за углом, а прогрессивную математическую модель. Алгоритм безошибочно определяет, что за препятствием кто-то или что-то есть, рассчитывает траекторию и скорость движения, а также воссоздаёт приблизительные очертания и трёхмерную форму предмета. По сути, это лазерный аналог эхолокации летучих мышей.
В ходе тестов инженеры успешно продемонстрировали четыре базовых сценария: отслеживание перемещения одиночного скрытого объекта; реконструкция его трёхмерной геометрической формы;
одновременный трекинг сразу нескольких целей вне зоны видимости; самолокализация камеры в пространстве с использованием невидимых ориентиров.
Последний пункт имеет большое значение для индустрии беспилотного транспорта. Робот, дрон-доставщик или автопилот машины, способный точно определять своё местоположение и ориентироваться по объектам, которые он физически не видит, получает колоссальное преимущество. Это позволит на порядок улучшить системы предотвращения аварий: умный автомобиль сможет «увидеть» выбегающего из-за слепого поворота пешехода или выезжающую машину за доли секунды до того, как они окажутся на проезжей части.
К сожалению, просто скачать приложение и протестировать функцию на своем смартфоне прямо сейчас не получится. Как пояснил один из авторов проекта Сиддхарт Сомасундарам (Siddharth Somasundaram), для этого Apple и другим производителям пришлось бы открыть сторонним разработчикам прямой доступ к необработанным «сырым» данным с LiDAR-матрицы, чего они из соображений безопасности и конфиденциальности обычно не делают. Тем не менее исследователи полностью открыли исходный код проекта для сообщества, а необходимые для сборки аналогичного сенсора компоненты сейчас можно свободно купить менее чем за $50–100.
© iXBT
