Dota 2 и масштабное глубокое обучение с подкреплением13.12.2019 08:00

Аннотация

13 апреля 2019 года OpenAI Five стала первой системой искусственного интеллекта, победившей чемпионов мира в киберспортивной дисциплине. Игра Dota 2 ставит перед системами ИИ новые задачи, такие как долгосрочное планирование, неполная информация, а также сложные и непрерывные пространства состояний и действий — все те проблемы, которые станут ключевыми для более мощных систем ИИ в будущем. OpenAI Five использовала существующие методы обучения с подкреплением, масштабированные для обучения на батчах размером примерно в 2 миллиона кадров каждые 2 секунды. Мы разработали распределенную систему обучения и инструменты для непрерывного обучения, которые позволили нам обучать OpenAI Five в течение 10 месяцев. Победив чемпиона мира по Dota 2 (Team OG), OpenAI Five доказала, что обучение с подкреплением путем самоигры способно достичь сверхчеловеческих результатов в сложнейшей задаче.