Нейросеть научили играть в Red Dead Redemption 2
Исследователи из Китая и Сингапура смогли научить нейросеть на базе GPT-4V играть в Red Dead Redemption 2. Для этого они использовали фреймворк CRADLE, который применяется в качестве интерфейса между компьютерной игрой и ИИ-моделью.
Ученые выбрали для эксперимента Red Dead Redemption 2, поскольку в ней есть требовательные задачи, которые позволят оценить границы производительности системы. Также для обучения ИИ пригодились диалоги, подсказки и инструкции внутри игры. Помимо этого, для управления используются клавиатура с мышкой, что также отлично подходит для настройки системы.
Нейросеть проходила игру на таких же условиях, как обычный человек. У ИИ-модели не было доступа к «внутренностям» RDR2, поэтому никаких преимуществ по сравнению с геймерами она не получила. По словам исследователей, CRADLE справилась почти со всеми задачами основной сюжетной линии. Было несколько исключений, например миссии с быстрой перестрелкой или сложным исследованием окружения.
В качестве главной проблемы исследователи назвали ограничения GPT-4V. Они считают, что ИИ-модель недостаточно хорошо справляется с распознаванием различных элементов, в том числе различных пиктограмм и мини-карт. Тем не менее исследователи отметили заметный успех CRADLE. Они добавили, что систему можно использовать и для других игр, а также различных компьютерных приложений.
Ранее геймеры построили в Minecraft огромную копию ракетоплана «Буран». Ее создали лучшие авторы ВКонтакте и Дзена.
