Израильские разработчики смогли научить ИИ побеждать человека в Mortal Kombat
3D-окружение еще сложно для восприятия слабой формой ИИ, что влечет за собой проблемы компьютера при прохождении таких игр
При помощи видеоигр современные специалисты по искусственному интеллекту собираются обучать ИИ методам преодоления препятствий и решения возникающих проблем «на ходу». К примеру, сотрудники DeepMind совместно с Blizzard превратили StarCraft II в среду для обучения слабой формы ИИ. В прошлом году система искусственного интеллекта Google самостоятельно освоила 49 старых игр Atari.
И речь идет не о системе, интегрированной в игру (вроде AI-противников в файтингах, футбольных симуляторах или симуляторах гонок), которой прекрасно известны условия и правила. ИИ, который обучают разработчики в компьютерных играх сейчас, поставлен в равные с человеком условия. Система наблюдает за картинкой на экране, обучаясь методам проб и ошибок. И такая программа способна находить решение не только в играх, она пригодна для поиска решения в самом широком кругу задач, независимо от правил или условий.
Группа студентов из Технологического университета Израиля недавно заявила о своей разработке, системе Retro Learning Environment (RLE). Это программная платформа, которая позволяет обучать ИИ на примере многих игр 90-х годов, включая те из них, что выходили для консолей Nintendo и Sega. Это, например, многим известные F-Zero, Wolfenstein, и Mortal Kombat. По словам разработчиков, для ИИ многие игры оказались сложными, некоторые система так и не научилась понимать и проходить. Зато RLE отлично научилась играть в Mortal Kombat. Результаты своей работы специалисты изложили в статье на arXiv. ИИ неоднократно смог вчистую выиграть у противника-человека. И этим противником был отнюдь не новичок. В статье указано, что компьютеру противостоял опытный игрок в Mortal Kombat.
В Wolfenstein, где объемные уровни, плюс необходимо ориентироваться при прохождении лабиринта и определять ряд объектов, система показала не слишком хороший результат. В Gradius III RLE смогла изучить технические аспекты игры, которые включают необходимость уничтожения встречающихся врагов с последующими действиями. Но система не смогла показать лучший результат, чем у игрока-человека. Здесь необходимо улучшать способности персонажа встречающимися артефактами. Чем больше артефактов игрок пропускает — тем тяжелее проходить игру. Компьютер практически не обращал внимания на power-up объекты, что значительно усложнило процесс прохождения.
То, что программа смогла научиться играть в компьютерную игру настолько хорошо, что стала выигрывать у человека — несомненная заслуга разработчика. Для компьютера научиться проходить игру методом проб и ошибок не так просто, это сложное задание, которое преодолевают немногие программные платформы. «Если алгоритмы могут играть в сложные игры, то мы можем начать работу над внедрением таких систем в реальном мире, для решения реальных проблем», — заявил Шай Розенберг, один из авторов исследования. «Подобно тому, как ребенок учится играть в игры, компьютер тоже видит лишь информацию на экране. Они (и ребенок и компьютер) учатся избегать препятствий и решать проблемы для получения максимального вознаграждения», — продолжает он.
ИИ неплохо научился играть как в Boxing на Atari, так и в Mortal Kombat, просто «глядя на экран» и оценивая последствия своих действий в игровой среде
В реальном мире умение компьютерных систем учиться на своих ошибках и предсказывать последствия некоторых «поступков» может пригодиться во многих сферах. Роботы могут перемещаться по сложным пространствам (коридорам помещений, например) с большим количеством препятствий, не сталкиваясь с ними. Любая небольшая ошибка, допущенная компьютером, будет им учитываться в следующий раз, при выполнении такой же или схожей задачи.
По словам Розенберга, RLE может научиться проходить и более сложные игровые системы, а не только играть в SNES-игры. Следующим этапом проекта будет освоение игр платформы PlayStation. Правда, пока что израильские разработчики сосредоточены на том, чтобы научить свою систему проходить большую часть осваиваемых игр. То, что компьютер научился играть в Mortal Kombat этот хорошо, но недостаточно — все же значительная часть игр «осталась за бортом», RLE не смогла их освоить.
Результаты прохождения разных игр системой RLE с использованием различных алгоритмов прохождения
«На последующих этапах мы считаем возможной и даже относительно легкой задачей адаптацию нашей обучающей системы к более сложным играм, включая, например, Grand Theft Auto», — заявили разработчики. Сейчас, к сожалению, игры типа Grand Theft Auto V«s Los Santos ИИ недоступны — слишком уж они сложные.
Исходный код своей системы разработчики сделали открытым и выложили на Github. Получить исходники можно здесь.
