Reward AI представила перчатку для обучения роботов на человеческих движениях

Omnibody Hand — носимая перчатка с тактильными датчиками, сенсорами приближения и камерами с глобальным затвором. Она фиксирует не только движение руки, но и взаимодействие с объектом: приближение, контакт, силу и характер захвата.

Для отслеживания положения Reward AI объединила визуально-инерциальную систему с электромагнитным позиционированием: в тестах на высоких скоростях такой подход снизил среднюю ошибку миграции заданной точки на 60%.

Фото 1
Источник изображения: Reward AI

На этих данных работает OM-1 — универсальная модель управления, которая напрямую учится на демонстрациях человека, без телеприсутствия и предварительного обучения на самом роботе. Модель получает изображения, тактильные сигналы, данные о расстоянии между пальцами и траекторию руки, а на выходе задаёт направление и скорость движения, силу и моменты ключевых событий, например захвата.

По утверждению Reward AI, новая задача, включая контактные действия и длинные последовательности, осваивается менее чем за 30 минут записей.

OM-1: Frontier Robot Intelligence Learned Firsthand from Humans

Исполнение команд берёт на себя отдельный слой управления, обученный с подкреплением в симуляции. Он работает на высокой частоте независимо от скорости инференса OM-1, сглаживает переходы между последовательными прогнозами и компенсирует задержки, внешние возмущения и особенности динамики конкретного робота. Поэтому одна и та же модель должна переносить выученные действия между разными роботизированными платформами.

©  iXBT