Робот-кот на фестивале «НАУКА 0+»
Привет, Хабр! Сегодня предлагаем поговорить о робототехнике. Сейчас эта отрасль развивается, причём очень активно, так что сложные роботизированные системы постепенно становятся всё более доступными. Если ранее с ними работали такие компании, как Boston Dynamics и другие «киты» робототехники, то сейчас возможность изучать современных роботов в России появилась у школьников и студентов.
На научном фестивале наука 0+ молодые ученые из МИСИС, Хорошколы и ИТМО при поддержке Лаборатории робототехники Сбер представили свои разработки в области шагающих роботов и совместный проект — «Робот-Кот». А также Лаборатория робототехники Сбер совместно с ИТМО показали демо алгоритма автономного подъема и спуска четвероногого робота по лестнице с использованием зрения.
Робот-кот и управление жестами
В рамках фестиваля «Наука 0+» молодые учёные из МИСИС, Хорошколы при поддержке Лаборатории робототехники Сбера представили совместный проект ― «Робот-кот».
В рамках проекта мы разработали модель головы и хвоста робота-кота, сделав систему действительно похожей на животное. Также была разработана программа, которая анализирует видеопоток с камеры и распознаёт жесты оператора. Каждый жест ― сигнал роботу по выполнению определённой команды.
Цели и задачи проекта:
Обучение школьников и студентов современным технологиям робототехники и искусственного интеллекта;
Развитие робототехнического сообщества;
Передача компетенций и технологий Сбера через совместный проект;
Приобщение молодёжи к науке.
Компоненты?
Сразу хотелось бы сказать, что мы использовали «железо» от китайской компании Unitree, а именно — модель Go1 для создания роботизированного кота, модель A1 для обучения робота-собаки подъёмам и спускам по лестнице. Команды разрабатывали ПО, аппаратное обеспечение мы не модифицировали.
Почему для разработки своих программ и тестирования разных сценариев применения использовали платформу Unitree? Дело в том, что разработка собственной платформы и штучное изготовление будут стоить на несколько порядков дороже, чем покупка уже готовой системы в Китае. Пока что цель создать полностью собственного робота не стоит. Наша задача — расширить возможности таких роботов, в первую очередь за счёт более интеллектуального ПО.
Вендор этих моделей позволяет модифицировать программное обеспечение, никаких ограничений здесь нет. API открытое, так что мы писали свой софт, управляющий «железом», разрабатывали «мозги» робота.
3D модель головы робота разработана и изготовлена студентами МИСИС.
Студенты МИСИС собирают робота.
Чему «научили» робота? В первую очередь понимать жесты, демонстрируемые оператором, и выполнять связанную с жестами команду. Любой желающий мог показать в веб-камеру жест руками ― робот его распознавал и выполнял команды:
Один палец ― движение вперёд;
Два пальца ― движение назад;
Ладонь вправо ― поворот направо;
Ладонь влево ― поворот налево.
Визуализация распознанного нейросетью жеста.
К слову, научил робота понимать жесты молодой разработчик, школьник из Хорошколы. Программу, которую он создал, можно совершенствовать и дорабатывать. Если вам это интересно продолжить и развить, то мы можем для новых участников совместного проекта предоставить наработки в виде исходного кода и 3D моделей для печати.
Если вы или ваши знакомые хотите принять участие в совместных проектах с шагающими роботами под менторством специалистов из лаборатории робототехники Сбера, то нет никаких препятствий. Кто может присоединиться к команде?
Необходимо наличие одного из навыков:
Вот ссылка на наше сообщество в телеграм.
Робот-собака и обучение передвижению по лестнице
Это второй проект, который мы показали. Он более сложный и специализированный, это совместная работа лаборатории «Биомехатроники и энергоэффективной робототехники» (BE2R Lab) Университета ИТМО и Лаборатории робототехники Сбера. Задействованные технологии: планирование и управление движением четвероногих роботов в неструктурированных средах на основе теории оптимального управления и Reinforcement Learning, а также использование компьютерного зрения для перемещения по сложным поверхностям.
В качестве примера мы выбрали задачу преодоления лестницы как наиболее широко распространённого препятствия в human-centered-окружении, представляющего значительные сложности для различных шагающих роботов.
Визуализация как робот видит лестницу и строит карту высот.
Цели и задачи проекта:
Сделать четвероногих роботов более автономными;
Стимулировать совместные научные исследования ведущих робототехнических команд в России.
В рамках проекта мы разработали оригинальное программное обеспечение, включающее алгоритм управления движением ног для разных типов походок, а также программный интерфейс для настройки и управления роботом. Исследовательский интерес здесь представляют задачи улучшения точности и робастности работы алгоритмов одометрии и управления, повышения энергоэффективности перемещения, а также способы сенсорно-моторной координации с системой технического зрения при уменьшении нагрузки на встроенную вычислительную систему робота.
Софт походок робота, разработанный студентами ИТМО при поддержке Лаборатории робототехники Сбер.
Потенциальное применение:
Доставка небольших грузов;
Мониторинг оборудования и инспекция в удалённых и опасных для человека местах;
Развлечение и привлечение IT-специалистов на мероприятия.
В проекте принимают участие магистранты ИТМО. К слову, если вы планируете поступать в магистратуру и хотели бы стать частью команды проекта, то проблем нет. Для этого нужно связаться с профессором ИТМО Сергеем Алексеевичем Колюбиным по контактам, указанным на странице магистерской программы «Робототехника и искусственный интеллект». Она реализуется в корпоративном партнёрстве со Сбером.
В совместных научных исследованиях могут принять участие вузы, обладающие необходимыми компетенциями и наработками. Заявки можно писать в личные сообщения тут или в Telegram.
Что ещё?
Возможностей у роботизированных систем, подобных тем, что были задействованы нами, много. Так, четырёхногий робот может служить платформой для переноса полезной нагрузки в виде различных датчиков, позволяющих собирать информацию и выполнять картирование или полную трёхмерную реконструкцию окружения как на улице, так и внутри помещений.
Тут стоит вспомнить, что в последнее время стали популярны метавселенные. Поэтому лаборатория «Биомехатроники и энергоэффективной робототехники» (BE2R Lab) Университета ИТМО и Лаборатория робототехники Сбера провели дополнительное совместное исследование алгоритмов и ПО для создания плотной 3D-реконструкции с использованием четвероногого робота.
На базе результатов исследования разработана технология визуального робастного SLAM (одновременное построение карты и локализация на ней), для которой достаточно собирать данные с таких сенсоров, как камера и IMU, вместо дорогостоящих трёхмерных лидаров. Эта технология позволяет использовать нейросети для восстановления и улучшения карт глубины, выделения стационарных и подвижных объектов и семантического аннотирования окружения. По результатам были написаны и опубликованы несколько совместных научных статей. Вот ссылка на одну из них.
Если вам интересны подобные проекты, задавайте вопросы в комментариях. Ну, а связаться с представителями проектов можно одним из способов, указанных выше: это сообщение в Telegram сообщество и личные сообщения на Habr. Ждём всех заинтересованных ― учащихся школ и вузов, молодых учёных, разработчиков и команды исследователей.
