Инструмент на ИИ научили превращать любую песню в пользовательскую карту Beat Saber

image

Инструмент Beat Sage, использующий нейронные сети и искусственный интеллект, научился создавать карту Beat Saber из любой песни на YouTube. Beat Saber — это музыкальная компьютерная игра с VR-элементами от Beat Games.

Суть игры состоит в том, что игрок управляет двумя световыми мечами при помощи VR-джойстиков и разбивает ими блоки, которые летят в определенном ритме. На сложных уровнях эти блоки могут вращаться и перемещаться.

Beat Sage научили идеально генерировать карты для ритм-игры, но только с определенными типами музыки. Результаты использования медленных баллад или рок-музыки оказались скучноватыми, а вот поп-треки и электронная музыка с сильным ритмом позволили инструменту продемонстрировать действительно хорошую работу.


ИИ фактически научился генерировать данные на основе уровней Beat Saber, созданных людьми. Вот как разработчики Крис Донахью и Абхай Агарвал объясняют это:»‎Beat Sage использует две нейронные сети для сопоставления аудиофайла с вероятным уровнем Beat Sabre. Первая нейронная сеть прослушивает аудио и предсказывает, в какие моменты времени следует размещать блоки. Вторая нейронная сеть просматривает прогнозируемые моменты времени и сопоставляет каждую метку времени с типом блока (например, красный вверх, синий вниз, красный вверх + синий вниз)».


По их словам, инструмент продолжат улучшать. В настоящий момент Beat Sage поддерживает только уровни сложности «Нормальный» и «Эксперт+», но разработчики планируют добавить больше функций, например, стены и режимы 90/360 градусов).

В ноябре прошлого года чешская компания Beat Games присоединилась к бренду Oculus Studios, который принадлежит Facebook. Теперь Beat Games выпускает контент и обновления к Beat Saber при поддержке компании. При этом там обещали не отдавать предпочтение гарнитурам Oculus и сохранить игру кроссплатформенной.

См. также:

© Habrahabr.ru