Ученые придумали как облегчить обучение роботов
Ученые из Технологического института Джорджии разработали новый подход к обучению роботов выполнению сложных задач с использованием имитационного метода. Разработка специалистов уже продемонстрировала впечатляющие результаты в экспериментах с манипуляцией объектами.
Идея имитационного метода заключается в том, чтобы совершенствовать алгоритм глубокого обучения путем наблюдения за действиями человека. Традиционно это требует огромного объема данных и сложного оборудования, однако EgoMimic предлагает более доступный и масштабируемый способ сбора таких данных. Система основана на записи видео с помощью умных очков Project Aria, разработанных Meta Reality Labs Research. Очки фиксируют выполнение повседневных задач от первого лица, позволяя алгоритму точно воспроизводить движения человека.
Секрет эффективности EgoMimic заключается в сочетании нескольких компонентов. Во-первых, это использование очков Project Aria для записи данных об окружающей среде и движениях рук. Во-вторых, это интеграция двухманипуляторного робота, оснащенного камерами и сенсорами, что позволяет роботу воспроизводить действия человека с минимальными отклонениями. Робот, также оснащенный очками, видит пространство аналогично человеку, что упрощает процесс переноса поведения.
Главное отличие EgoMimic от предыдущих методов заключается в подходе к данным. Вместо того чтобы извлекать только общие намерения из человеческих видео, как это делали ранние системы, EgoMimic объединяет человеческие и роботизированные данные, рассматривая их как равнозначные. Это позволяет разработать универсальную политику поведения, подходящую как для людей, так и для машин.
Технология была протестирована в серии экспериментов, где робот обучался выполнять сложные последовательности действий. Например, он научился поднимать мягкую игрушку, класть ее в миску, затем высыпать игрушку на стол и повторять этот процесс на протяжении 40 секунд. В других тестах робот успешно складывал футболки определенным образом и заполнял продуктовый пакет пачками чипсов. В каждом случае результаты показывали, что EgoMimic превосходит существующие методы обучения через подражание как по точности, так и по способности выполнять незнакомые задачи.
Кроме того, работа продемонстрировала ценность человеческих данных: добавление всего одного часа видеозаписей с человеческими действиями оказалось более эффективным для обучения, чем аналогичное количество роботизированных данных. Это открытие подтверждает перспективность использования такого подхода для ускорения развития роботов.
Система EgoMimic также позволяет роботам адаптироваться к новым сценариям и эффективно выполнять задачи в различных условиях. Это делает ее полезной не только для научных экспериментов, но и для широкого применения в промышленности, медицине и бытовых задачах. Разработчики уверены, что их методика станет основой для будущих исследований и найдет применение в робототехнике по всему миру.
Код для обработки данных и моделей обучения, использованных в EgoMimic, уже доступен на GitHub. В перспективе система может стать мощным инструментом для создания роботов, которые смогут эффективно взаимодействовать с окружающей средой и адаптироваться к новым вызовам.
Ранее специалисты научили роботов-собак запоминать маршрут и сообщать об увиденном.
