[Перевод] Эффект «зловещей долины» в озвучке виртуальной реальности
Многие художники, работающие в игровой индустрии, знакомы с эффектом «зловещей долины», но звукорежиссеры и композиторы, как правило, не сталкиваются с этой проблемой. Тем не менее, учитывая стремительное развитие виртуальной реальности, ситуация может кардинально измениться. В данной статье мы поговорим о том, как именно этот эффект может коснуться аудиоспециалистов. Но для начала давайте выясним, что же такое «зловещая долина»?
Чтобы продемонстрировать эффект «зловещей долины», чаще всего используется такой график. Идея заключается в следующем: чем больше неживой объект, например робот, похож на человека, тем симпатичнее он кажется. Однако этот эффект растет лишь до определенного момента: когда максимальная степень реализма уже вот-вот достигнута, симпатия резко сменяется отвращением или даже страхом. Другими словами, из-за малейших несоответствий реальности ваш персонаж превращается в монстра. Более подробно об эффекте «зловещей долины» рассказывается в видео из серии Extra Credits:
Итак, мы выяснили, что художники подразумевают под «зловещей долиной», но какое отношение это имеет к аудио?
«Объемный звук – имитация реальности или иллюзия?»
Концепция «зловещей долины» в области аудио была впервые представлена Френсисом Рамзи в докладе «Объемный звук – имитация реальности или иллюзия?» на собрании чикагского отделения Общества инженеров-акустиков (Audio Engineering Society) в штаб-квартире компании Shure Incorporated в городе Найлз, штат Иллинойс, в мае 2014 года. Френсис Рамзи получил степень кандидата наук в области аудиотехники в Университете Суррея и сейчас занимает должность председателя технического совета AES.
В блестящей полуторачасовой презентации (полную запись которой члены организации AES могут посмотреть по ссылке) Френсис Рамзи рассказывает об эволюции объемного звука и о многочисленных попытках добиться безупречной симуляции естественного акустического пространства. Он также рассматривает различные подходы к решению этой проблемы: и с эстетической точки зрения, и с математической – путем создания идеальной технологии синтеза волнового поля. Попутно он задается вопросом: какую цель преследует объемный звук – максимальное приближение к реальности или создание правдоподобной иллюзии? Это приводит нас к основному тезису доклада.
Саунд-дизайн в виртуальной реальности: «почти» не считается
Рамзи утверждает, что объемный звук начинает стимулировать всё больше участков головного мозга по мере достижения максимальной степени реализма. Почему это происходит? Дело в том, что слух очень остро реагирует на «естественность» звука. Нам хорошо известно, как звук распространяется в окружающей среде. Мы знаем, как он отражается, реверберирует и как различные объекты могут заглушать звук или изменять его тембр. Когда виртуальное акустическое окружение достигает вершины пространственного реализма и тембрового соответствия, наш мозг начинает сопоставлять эту модель с реальным окружением, запечатленным в нашей памяти. И, даже если на первый взгляд симуляция безупречна, малейший изъян вызовет у нас негативную реакцию. «Звук почти как настоящий, но с ним что-то не так, – подумаете вы. – Что-то меня смущает».
В качестве примера давайте посмотрим видео виртуальной реальности Oculus, демонстрирующее работу плагина объемного звука AstoundSound 3D RTI от компании GenAudio. Несмотря на то, что позиционирование аудио действительно впечатляет, в демоверсии плагина напрочь отсутствуют эффекты преграждения и поглощения звука (чего создатели и не скрывают). Таким образом, вы можете сами убедиться, какое впечатление производят эти несоответствия в реалистичном акустическом окружении. Особенно хорошо они прослеживаются, когда игрок заходит в дом, а журчание фонтана во дворе остается неизменным, хотя звук должен был стать более приглушенным.
Голосовая озвучка виртуальной реальности: «зловещая долина» речи в 3D
В докладе Рамзи приводит результаты исследований Гленна Дикинса, технического архитектора отдела цифровой конвергенции в компании Dolby Laboratories. Дикинс исследовал теорию «зловещей долины» применительно к голосовой озвучке. Человеческая речь укореняется в нашем сознании точно так же, как человеческий облик и движения, поэтому мы с легкостью воспринимаем ее в трехмерном пространстве. Таким образом, голосовая озвучка в 3D еще больше рискует попасть в «зловещую долину». Минимальное отклонение голоса от условного расположения в пространстве может вызвать у слушателя чувство глубокого дискомфорта.
Актуальность технологии сжатия аудиоданных, используемой в разработке традиционных видеоигр, вызывает сомнения, когда речь идет о виртуальной реальности. Особенно это касается голосовой озвучки. Любой геймер может заметить, что голоса персонажей звучат странно, даже не зная, что причиной тому – компрессия записи. Процесс сжатия изменяет звучание голоса на самую малость, но в виртуальной реальности это слышно совершенно отчетливо. Малейший просчет – и аудио оказывается на краю «зловещей долины».
Саундтреки в виртуальной реальности: оптимистичный прогноз
В своем блоге я уже рассуждала о том, какую роль играет музыка в трехмерном акустическом пространстве виртуальной реальности. Но у Френсиса Рамзи абсолютно противоположное мнение на этот счет. По его словам, для слушателей совсем не принципиально, чтобы звучание саундтрека было объемным. Композиторы в игровой индустрии могут вздохнуть с облегчением, ведь это значит, что саундтрекам не грозит эффект «зловещей долины».
Ссылаясь на результаты исследования того, как неискушенные и опытные слушатели воспринимают объемный звук, Рамзи утверждает, что позиционирование музыки в пространстве не так важно. Все участники опроса сошлись во мнении, что решающим фактором для саундтрека является качество звука, но объем никак на него не влияет. Значит ли это, что слушатели готовы добровольно поверить в эту иллюзию независимо от ее соответствия правилам виртуальной реальности? Раз так, звукорежиссеры могут смело жертвовать позиционированием закадровой музыки (т. е. музыки, источник которой не является частью виртуального мира) в пользу голосовой озвучки и элементов саунд-дизайна. При этом саундтрек, как и прежде, будет способствовать эмоциональной вовлеченности и погружению в мир игры. Впрочем, в других ситуациях (например в фильмах) слушатели могут воспринимать объемные саундтреки иначе. В любом случае роль закадровой музыки в виртуальной реальности требует более подробного изучения.
С другими типами музыки дело обстоит намного проще. Как-никак, саундтрек не всегда выполняет свою привычную роль создания атмосферы в игре. К примеру, в музыкальных визуализаторах виртуальной реальности позиционировать аудио в пространстве совершенно не обязательно, ведь оно и так стоит на первом плане (как если бы вы просто слушали музыку). Вы можете убедиться в этом сами, посмотрев превью музыкального визуализатора Harmonix Music VR от компании-разработчика таких известных серий, как Rock Band и Dance Central:
Заключение
В заключение доклада Френсис Рамзи приходит к выводу: во всем, что касается озвучки виртуальной реальности, «почти» не считается. Другими словами, по-настоящему реалистичное звучание должно быть по-настоящему безупречно. В противном случае лучше остановиться на стилизованном аудио, намеренно искажающем и утрирующем аспекты реального звука, чем пытаться воссоздать его точную копию.
