Испанцы научили один объектив видеть объём — создан необычный нейроморфный датчик для роботов
Циклоп по определению не мог быть хорошим охотником и вряд ли мог создать проблемы команде Одиссея. Без стереоскопического зрения и сложных нейросистем для его обработки он не смог бы определить расстояние до цели. С этим готова поспорить современная наука, которая стремится разработать как можно более простые оптические системы машинного зрения, не уступающие по возможностям зрению человека.
Испанский технологический центр IKERLAN разработал прототип нейроморфной системы машинного зрения BEGI, способной одновременно определять глубину пространства и отслеживать движение при помощи одного-единственного объектива и датчика. Устройство имитирует сложный глаз насекомого и предназначено для так называемого физического искусственного интеллекта — роботов, беспилотников и других автономных машин, которым необходимо быстро воспринимать окружающий мир и взаимодействовать с ним. В отличие от лидаров и камер глубины, система работает пассивно, то есть не излучает лазерные или инфракрасные импульсы.
В основу прототипа положен динамический датчик изображения Sony–Prophesee IMX636, поверх которого установлена матрица микролинз. Каждый пиксель такого сенсора передаёт данные не через равные промежутки времени, а только при обнаружении изменения яркости, формируя поток отдельных событий. Микролинзы позволяют дополнительно определить направление пришедшего света, а алгоритм прямой стереореконструкции вычисляет форму объектов, глубину и оптический поток без второй камеры. IMX636 имеет разрешение 1280 × 720 пикселей, задержку менее 100 мкс при освещённости 1000 люкс, динамический диапазон свыше 120 дБ и максимальное энергопотребление около 205 мВт.
Главным ограничением нынешнего образца остаётся разрешение: для определения глубины одна и та же точка должна регистрироваться несколькими пикселями под разными углами. Поэтому дальность действия практической версии BEGI пока составляет менее одного метра, а поле зрения — примерно от 20 до 40 градусов. Это сужает круг применения датчиков на такой платформе до задач ближнего действия, включая манипуляторы на промышленных линиях, контроль движущихся механизмов и финальный этап стыковки космических аппаратов, когда датчик должен почти мгновенно обнаруживать небольшие смещения при жёстких ограничениях по мощности и теплоотводу.
Сейчас вычислительная часть BEGI реализована на программируемой матрице FPGA и формирует отфильтрованные кадры событий, динамику, карты оптического потока и глубины. Следующим этапом должна стать разработка специализированной микросхемы ASIC и крупноформатного сенсора с существенно большим числом пикселей. По расчётам разработчиков, такая версия сможет увеличить дальность восприятия приблизительно до 16 метров, а поле зрения — до 120 градусов, сохранив микросекундную реакцию и конструкцию с одним объективом. Это позволит широко применять технологию в мобильных роботах, системах навигации, беспилотниках и автономном транспорте. Но случится ли это? Разработчики надеются, что смогут пройти этот путь.
© 3DNews
