Разработка голосового интерфейса StarCraft II для Alexa
Глава инженерного отдела UpsideLab Рафаль Цимерис — о том, как играть в стратегию с помощью голосового управления.
В магазине навыков Alexa есть множество игр. Но большинство из них либо простые викторины, либо текстовые приключенческие игры из 1970-х годов, перенесённые на голосовой интерфейс.
Мы думали, можно ли сделать что-то ещё.
Недавно мы были на хакатоне Talk to Me, Berlin, где придумали концепт (и работающий прототип), который показывал, как можно внедрить голосовые интерфейсы в видеоигру.
Когда голос работает лучше всего
Голосовой интерфейс подходит приложениям c режимом управления без рук. Так можно одновременно делать несколько задач и выполнять простые действия, не переключая на них внимание полностью.
Когда вы ведёте машину или делаете себе бутерброд, удобнее сказать что-то виртуальному помощнику, чем взять телефон и сделать действие самому.
С точки зрения военнокомандующего
Управление армией есть во всех стратегиях.
Игрок почти всегда смотрит на игру глазами офицера высокого ранга, например, генерала. У вас есть полный контроль над всеми частями войск и зданиями. Только вы решаете, какую стратегию использовать.
Но как ощущать себя генералом, не отдавая приказы? А ещё приходится управлять всеми частями войск самостоятельно, нет возможности выбирать задания своим подчинённым.
Мы решили исправить это, превратив Alexa в «умного» внутриигрового помощника.
Чтобы развить идею дальше, мы выбрали StarCraft II. У нас было на это несколько причин:
- Игра футуристична, как и виртуальные помощники.
- Это стратегия со сражениями, поэтому она идеально подходит для того, чтобы отдавать приказы.
- Здесь требуется многозадачность, а это подходящее условие для внедрения взаимодействий в режиме управления без рук.
- В игре есть API, с помощью которого можно к ней подключиться.
Выбор команд
Мы сосредоточились на конкретных игровых ситуациях и предложили следующие команды.
- Тренировка дополнительных войск и отправка их на поле сражения по готовности. Это полезно, если вы понимаете, что отправили в бой слишком маленькую армию. Можно сосредоточиться на битве, потому что вы знаете, что скоро прибудут дополнительные солдаты.
- Эвакуация рабочих на базу. Когда вы видите, что приближается враг, можно быстро скомандовать наиболее уязвимым частям вернуться в безопасное место. Эта же команда подойдёт, если надо завести флот в убежище, тем самым получить преимущество над вражескими войсками.
Знакомьтесь, Кейт Блэкуотер
Alexa не сочеталась с игровой вселенной. Люди привыкли к тому, что она приветливая и весёлая, а это совсем не подходит военному офицеру.
Чтобы голосовой пользовательский интерфейс лучше соответствовал игре StarCraft, мы разработали альтернативную версию виртуального помощника и назвали её Кейт Блэкуотер.
Кейт — ваш подчинённый, командир, которому можно доверить некоторые задачи. Она находится на базе и следит за тем, что там происходит.
Она немного неприветлива, отвечает кратко и точно: «Вас поняла. Подтверждаю».
Вот примеры команд, которые понимает помощник:
- Alexa, скажи командиру отправить больше солдат.
- Alexa, скажи командиру всех эвакуировать.
- Alexa, узнай у командира о боеготовности.
Также мы воспользовались другими сервисами преобразования текста в речь, потому что голос Alexa слишком мягкий для этой игры. Подготовили ответы, которые больше подходили Кейт, — они были сухими и чёткими.
Живая демонстрация
По ссылке — создание навыков Alexa с помощью Python и AWS Lambda.
#дизайн
© vc.ru
