Роботы получили новое зрение: китайский ИИ научился видеть сквозь стекло и зеркала
Китайская компания Robbyant представила новую версию своей системы компьютерного зрения LingBot-Depth 2.0, которая должна помочь роботам точнее понимать окружающее пространство. Разработчики утверждают, что модель значительно улучшает восприятие глубины и позволяет роботам надежнее работать в сложных условиях, где традиционные датчики часто совершают ошибки.
Изображение: RobbyantLingBot-Depth 2.0 стала развитием первой версии системы, но получила более продвинутые алгоритмы обработки визуальных данных. При обучении модели использовалось около 150 млн примеров, а в независимых тестах она показала лучшие результаты в 12 из 16 популярных бенчмарков для восстановления карт глубины.
Одним из главных направлений развития стало решение проблемы прозрачных и отражающих поверхностей. Для обычных систем компьютерного зрения стекло, зеркала и другие сложные материалы часто становятся серьезным препятствием: датчики неправильно определяют расстояние до объектов или полностью теряют информацию о глубине.
По данным Robbyant, в условиях сильной потери данных о глубине новая модель более чем в два раза снизила среднюю ошибку распознавания. Показатель RMSE уменьшился с 0,132 до 0,062, что говорит о заметном повышении точности оценки расстояний.
В основе LingBot-Depth 2.0 лежит новая модель зрения LingBot-Vision. Ее ключевой особенностью стала необычная технология предварительного обучения, в которой основное внимание уделяется так называемой «структуре границ» объектов. Такой подход позволяет системе точнее определять контуры предметов — вплоть до субпиксельного уровня — и лучше понимать геометрию окружающей сцены.
Несмотря на относительно компактный набор данных для обучения — около 160 млн изображений, — разработчики заявляют, что LingBot-Vision способна конкурировать с более крупными моделями компьютерного зрения. Кроме того, система умеет стабильно отслеживать границы объектов в режиме реального времени, что особенно важно для автономных роботов, которым необходимо быстро ориентироваться в меняющейся обстановке.
Практические возможности технологии проверила компания Orbbec в собственной лаборатории Depth Vision Laboratory. Во время испытаний использовались стереокамеры Gemini 330, система продемонстрировала улучшенное распознавание границ объектов, мелких деталей, удаленных целей и сцен со сложным освещением.
Параллельно Robbyant и Orbbec объявили о совместной работе над оборудованием для сбора данных. Компании создают платформу RGB-D EGO, которая будет использовать специальную версию LingBot-Depth для формирования более качественных наборов данных для систем воплощенного искусственного интеллекта (Embodied AI).
Разработчики рассчитывают, что новая технология найдет применение в самых разных областях — от сервисных роботов и автономной навигации до промышленной автоматизации. Более точное восприятие глубины должно стать одним из ключевых элементов для следующего поколения роботов, способных безопасно взаимодействовать с реальным миром.
© iXBT
