Перенос обучения робототехники из симулятора в реальный мир с помощью рандомизации динамики18.10.2017 07:00

Аннотация

Симуляторы представляют собой привлекательную среду для обучения агентов, поскольку они обеспечивают изобилие данных и снижают определенные риски безопасности в процессе обучения. Однако поведение, выработанное агентами в симуляторе, часто оказывается специфичным для характеристик конкретной среды моделирования. Из-за ошибок моделирования стратегии, успешные в виртуальной среде, могут не переноситься на их реальные аналоги. В этой статье мы демонстрируем простой метод преодоления этого «разрыва между реальностью и симуляцией». Рандомизируя динамику симулятора в процессе обучения, мы можем разрабатывать стратегии (политики), способные адаптироваться к совершенно разным условиям динамики, включая те, которые существенно отличаются от параметров, на которых проходило обучение. Такая адаптивность позволяет стратегиям обобщаться на динамику реального мира без какого-либо обучения на физической системе. Наш подход продемонстрирован на задаче перемещения объекта с помощью роботизированной руки. Несмотря на обучение исключительно в симуляторе, наши стратегии способны поддерживать сопоставимый уровень эффективности при развертывании на реальном роботе, надежно перемещая объект в заданную точку из случайных начальных конфигураций. Мы исследуем влияние различных архитектурных решений и показываем, что полученные стратегии устойчивы к значительным ошибкам калибровки.