Четвероногий робот-вратарь отражает 9 ударов из 10
Самое большое достижение ученых в этой разработке — это скорость реакции робота-вратаря: чтобы отразить мяч он делает прыжок за доли секунды
Исследователи Калифорнийского университета в Беркли, Университета Саймона Фрейзера и Технологического института Джорджии создали модель обучения с подкреплением, которая позволяет четвероногому роботу эффективно играть в футбол в роли вратаря.
«Создание робота-вратаря — интересная, но сложная задача, требующая от робота реакции на быстро движущийся мяч и его перехвата с помощью динамических маневров за очень короткое время (обычно не более секунды)», — говорят ученые.
Метод проб и ошибок
Целью работы было создание четвероногого робота-вратаря, который мог бы совершенствовать свои навыки во время игры, как это делал бы вратарь-человек. Для этого исследователи разработали модель обучения с подкреплением, которая обучает робота с помощью процесса проб и ошибок, а не с помощью фиксированной стратегии, разработанной человеком.
«Сначала робот учится управлять собственным движением и формирует базовые навыки, например, шаг в сторону, бросок вниз или прыжок вверх», — пояснили исследователи. — «Основываясь на этих навыках, робот изучает планирование более высокого уровня, чтобы выбрать оптимальный навык и движение для перехвата мяча».
От симуляции к реальности
Исследователи тренировали свою модель обучения с подкреплением в серии компьютерных симуляций футбольного матча. Потом они применили результаты обучения на Mini Cheetah — четвероногом роботе, разработанном в Массачусетском технологическом институте, и проверили его работу в реальном мире.
Робот смог отразить 87,5% из 40 случайных ударов по воротам.
«Я думаю, что самым крутым аспектом нашей работы является то, что, используя предложенный нами метод, четвероногий робот Mini Cheetah научился выполнять очень быстрые и ловкие передвижения, быстрые и точные навыки манипуляции. Например, он может оттолкнуть мяч ногами или головой прямо в полете», — говорят исследователи.
В будущем модель обучения с подкреплением, созданная этой группой исследователей, может быть использована для повышения производительности роботов, предназначенных для участия в RoboCup и других футбольных соревнованиях роботов. Кроме того, модель может быть использована для улучшения маневренности и физических возможностей четвероногих роботов, предназначенных для решения совершенно других задач, например, при поисково-спасательных миссиях.
Mini Cheetah разрабатывался совсем не игры вратарем. То, что в него удалось успешно загрузить такие сложные навыки, буквально напоминает героев «Матрицы», которые точно также догружают нужные в данный момент умения, например, управление вертолетом.
