Бенчмарк OpenAI Five: Результаты
Вчера OpenAI Five одержала победу в серии из трех матчей против команды игроков в Dota, входящих в 0,05% лучших по рейтингу: Blitz, Cap, Fogged, Merlini и MoonMeander (четверо из которых выступали на профессиональной сцене Dota), перед живой аудиторией и 100 000 зрителей прямой трансляции.
Команда людей выиграла третью игру после того, как зрители намеренно выбрали для Five наименее выгодных героев. Мы также продемонстрировали нашу предварительную работу по анализу «взгляда» Five на игру, включая вероятность победы, что привело к прогнозам, удивившим наблюдателей-людей. Эти результаты показывают, что Five — это шаг на пути к созданию продвинутых систем ИИ, способных справляться со сложностью и неопределенностью реального мира.
Если вы пропустили: запись прямой трансляции матча с комментариямиPurgeиODPixel.КристииГрегтакже вели текстовую трансляцию события в Твиттере.
Обзор дня
Матч со зрителями
День начался с того, что команда добровольцев из числа зрителей отважно сыграла первый публичный матч против OpenAI Five. Five одержала победу в течение первых 14 минут (обычно равная игра занимает 45 минут).
Игры 1 и 2
Мы продемонстрировали новую способность OpenAI Five — умение драфтить. Драфт считается крайне сложным аспектом Dota, поскольку герои взаимодействуют друг с другом сложным образом.
В конце июня мы добавили в нашу нейросеть функцию вывода вероятности победы для анализа того, что прогнозирует OpenAI Five. Позже, размышляя о драфте, мы поняли, что можем использовать это для оценки вероятности победы любого пика: достаточно посмотреть на предсказание на первом кадре игры с таким составом героев. Всего за неделю разработки мы создали искусственный кадр для каждого из 11 миллионов возможных матчапов команд и написали поиск по дереву для нахождения оптимального драфта OpenAI Five.
После драфта первой игры OpenAI Five прогнозировала вероятность победы в 95%, хотя наблюдателям-людям пик казался примерно равным. Она выиграла первую игру за 21 минуту и 37 секунд. После драфта второй игры OpenAI Five прогнозировала 76,2% вероятности победы и выиграла вторую за 24 минуты и 53 секунды.
Игра 3: драфт от зрителей
Для третьей игры мы попросили зрителей самих выбрать героев для OpenAI Five. Как и ожидалось, они выбрали крайне неблагоприятный состав.
Перед началом игры OpenAI Five оценивала свои шансы на победу в 2,9%. Несмотря на плохие шансы, Five продолжила играть и в какой-то момент добилась достаточных успехов, чтобы поднять прогнозируемую вероятность победы до 17%, прежде чем окончательно проиграть спустя 35 минут и 47 секунд.
Обучение
Наш обычный цикл разработки заключается в обучении каждой крупной ревизии системы с нуля. Однако эта версия OpenAI Five содержит параметры, которые обучались с 9 июня на протяжении шести крупных ревизий системы. Каждая ревизия инициализировалась параметрами из предыдущей.
Мы вложили значительные средства в инструменты «хирургии», которые позволяют нам сопоставлять старые параметры с новой архитектурой сети. Например, когда мы впервые обучали систему установке вардов, мы использовали общую главу действий для определения того, куда двигаться и куда поставить вард. Но Five часто бросала варды, по-видимому, в том направлении, куда пыталась идти, и мы предположили, что она выделяет свои ресурсы в основном на движение. Наши инструменты позволили нам разделить эту главу на две копии, инициализированные с теми же параметрами.
По нашим оценкам, мы использовали следующие объемы вычислительных ресурсов для обучения наших различных систем Dota:
- Модель 1v1: 8 петафлопс/с-дней
- Модель от 6 июня: 11 петафлопс/с-дней
- Модель от 5 августа: 35 петафлопс/с-дней
Мы также публикуем нашу последнюю архитектуру сети.
Заглядывая внутрь модели
Мы можем получить некоторое представление о планировании модели через выходные данные, которые предсказывают, где герой окажется в будущем. На следующем видео выделенные области показывают прогнозируемое местоположение Свена через 6 секунд:
Мы также можем обучать модель предсказывать различные другие показатели — добитые крипы (ластхиты), количество башен и тому подобное:
Обеспечение работоспособности нашей модели требует устранения множества багов и неожиданных поведений. Вот несколько примеров:
Что дальше
Эти результаты придают нам уверенности в переходе к следующему этапу этого проекта: матчу против команды профессионалов на турнире The International в конце этого месяца. Мы объявим подробности игр сразу после их подтверждения — подписывайтесь на нас в Твиттере, чтобы быть в курсе событий!
Сноски
Автор
Полный текст статьи читайте на OpenAI
