Интерактивный NPC на Unreal Engine14.04.2024 09:45

В настоящее время у многих на слуху использование нейронных сетей в игровой индустрии (в том числе генерация музыки, изображений, 3D моделей). 

Одним из возможных применений нейронных сетей в игровой индустрии является создание «интерактивных» NPC, с которыми игрок может взаимодействовать при помощи голоса. 

Ряд именитых компаний уже экспериментируют в этой области. Так, NVidia представила NVidia ACE, а Ubisoft — Neo NPC.

Есть ряд решений и от менее известных компаний: раз, два.

Признаться, меня результат не сильно впечатлил и я подумал, что, как минимум, смогу его повторить =]. Получилось или нет — решать вам.

Я решил провести небольшой RnD и подготовить «Proof of Concept»- приложение для демонстрации возможностей применения нейронных сетей для создания «интерактивных» NPC в играх.

Видео с результатами вы можете найти под катом.
Там же ссылка на демо приложение и инструкцию.
Приложение не требует сетевого соединения с другими сервисами.

Результат.

Концепция

Игрок задает вопрос NPC голосом, NPC формулирует ответную реплику и голосом же отвечает. 

У NPC должна быть своя предыстория, и он должен определенным образом реагировать на игрока.

Взаимодействие игрока с NPC должно максимально напоминать диалог с настоящим человеком. Т.е. не должно быть никаких заранее подготовленных реплик, взаимодействие должно осуществляется только голосом и, вдобавок к этому, неплохо было бы наблюдать мимику собеседника или, хотя бы, движение губ.

Кроме того, хотелось бы, чтобы NPC помнил игрока, чтобы  при начале новой игровой сессии не приходилось начинать общение с самого начала.

Исходя из вышесказанного, наш «интерактивный» NPC должен выполнять следующие функции:

• Слушать — преобразовывать речь игрока в текст;

• Понимать — анализировать запрос игрока и формировать ответ в рамках своей предыстории\бэкграунда;

• Отвечать — преобразовывать текст ответа в аудио файл и синхронизировать аудио с движением губ 3D модели;

• Помнить — хранить историю общения с игроком.

Сторонние сервисы (ChatGPT, Google Speech и т.п.) использовать не будем — сегодня сервис доступен, а завтра нет (токены инвалидируются, санкции вводятся и т.п.). Плавали, знаем.

Вместо этого подберем готовые open source решения и адаптируем их под нашу задачу.

Реализация

В качестве игрового движка был выбран Unreal Engine 5.3. 

Одной из причин данного выбора является возможность «из коробки» использовать высоко детализированные модели людей с готовым набором поз и анимаций — MetaHuman.

Функционал разбит на несколько плагинов:

• SpeechRecognitionSystem — распознавание голоса. В основе лежит библиотека vosk.api.

• UGpt — генерация ответа на текстовый запрос игрока. Используемая LLM модель — Mistral (7b). В качестве инференса модели используется llama.cpp (CPU).

• SpeechGenerationSystem — преобразование текста в аудио. Плагин основан на библиотеке piper

• LipSyncSystem — синхронизация анимации движения губ с аудио. Плагин представляет собой переработанную версию плагина Oculus LipSync. Оригинальный плагин не совместим с UE5 и не работает (почти) в режиме реального времени.

При написании плагинов возникла уйма нюансов, но их разбор тянет на отдельную статью…

Как это работает (в общих чертах)

Все плагины работают по единому принципу:

— при инициализации компонента плагина создается отдельный поток (FRunnableThread для FRunnable объекта) с бесконечным циклом, в котором компонент ожидает задачу на выполнение;

— компонент принимает запрос и складывает его в очередь запросов;

— на очередной итерации цикла запрос извлекается из очереди и обрабатывается;

— результат выполнения запроса складывается в очередь с результатами.

Под катом, для наглядности, приведены blueprint«ы в упрощённом виде для каждого компонента системы и ссылки на документацию к плагинам.

Blueprints

Отдельно хотелось бы коснуться такой функции, как настройка предыстории (поведения) «интерактивного» NPC.

Для того, чтобы «прописать персонажа» необходимо прибегнуть к prompt-инжинирингу.

Для примера я решил смоделировать диалог Довакина и ярла Ульфрика из, откуда бы вы думали, игры Skyrim и подготовил вот такой простенький prompt.

Imagine that you are one of the jarls of Skyrim.
You are talking to the great warrior {USER}.
{AI} answers politely and is willing to answer any questions.
{AI} has a job for the hero.
{USER}:
-------------
USER: Dovakin
AI: Ulfric

Результат вы можете посмотреть под катом.

Диалог. Dovakin — Ulfric

Что дальше

• научимся автоматически (ну почти) создавать двойника в MetaHuman по фотографии лица используя 3D face mesh reconstruction;

• освоим voice-cloning;

• постараемся еще больше «оживить» нашего NPC, добавив функцию sentiment analysis как для запросов игрока, так и для ответов NPC. Как результат — будет меняться мимика и «поведение» нашего «интерактивного» NPC;

• улучшим функцию lipsync — попробуем сделать анимацию губ более плавной и «точной».

Задача максимум — создать подобие цифрового двойника человека, который будет визуально, голосом и поведением напоминать оригинал.

Заключение

Лично мне видится, что у «интерактивных» NPC есть будущее в игровой индустрии. Это будущее наступит не сегодня и не завтра, но оно наступит. Уже сейчас можно экспериментировать в попытке создать новый жанр, геймплей и т.п.

Сложно себе представить, как это скажется на работе гейм дизайнеров, сценаристов да и на индустрии в целом.

А что думаете вы? Делитесь своими соображениями в комментариях.

© Habrahabr.ru