Google представил систему объёмного звука Resonance Audio07.11.2017 13:15

Компания Google представила систему объёмного звучания Resonance Audio и открыла набор SDK для задействования данной технологии в проектах на различных языках программирования, в Web API и в популярных игровых движках. Система нацелена на обеспечение реалистичного объёмного звучания с моделированием сложных звуковых окружений, в которых присутствует множество источников звука. В качестве областей применения отмечаются виртуальная и дополненная реальность, игры и видео в режиме 360 градусов. Код SDK открыт под лицензией Apache 2.0.

В основе технологии заложена симуляция процессов взаимодействия звуковых волн с человеческими ушами. Система адаптивно изменяет положение источников звука в зависимости от поворота и наклона головы, манипулируя задержками прихода волны в разные уши для определения направления звука, эффектами затухания мощности звуковой волны при изменении расстояния и даже особенностями отражения звука от ушной раковины для распознавания вертикальных смещений звука. Кроме того, система учитывает возможные первичные и многократные отражения звука от поверхностей, обтекание звуком препятствий и прохождение через предметы, учитывая при этом геометрию и тип материалов для находящихся в окружении объектов.

Учитываются также особенности направленных источников звука, например, при симуляции игры на гитаре звук впереди будет громче, чем при прослушивании со спины играющего. Характер звука также измениться если отвернуться во время прослушивания или зайти за препятствие. В итоге удаётся добиться полной реалистичности и точного сопоставления источника звука с позицией в виртуальном окружении.

SDK поддерживает работу на платформах Android, iOS, Windows, macOS и Linux, обеспечивая интеграцию с движками Unity, Unreal Engine, FMOD и Wwise, а также с цифровыми звуковыми рабочими станциями (Digital Audio Workstation, DAW). Также предоставляется универсальный API для программ на C/C++, Java, Objective-C и JavaScript (интеграция с Web Audio API). Благодаря применению оптимизированных алгоритмов обработки сигналов, производительности компонентов моделирования звука достаточно для расчета окружений с сотнями источников звука в реальном времени даже на мобильных устройствах.