Новая видеокамера может воссоздавать звук музыкального инструмента по его изображению
Система камер, разработанная исследователями Университета Карнеги-Меллона, может видеть звуковые колебания с такой точностью и детализацией, что может реконструировать музыку одного инструмента в группе или оркестре.
Даже самые мощные и направленные микрофоны не могут устранить близлежащие звуки, окружающий шум и эффект акустики при захвате звука. Новая система, разработанная в Институте робототехники Школы компьютерных наук (RI), использует две камеры и лазер для обнаружения высокоскоростных малоамплитудных поверхностных вибраций. Эти вибрации можно использовать для восстановления звука, захватывая изолированный звук без логического вывода или микрофона.
«Мы изобрели новый способ видеть звук», — сказал Марк Шейнин, научный сотрудник Лаборатории освещения и визуализации (ILIM) в Род-Айленде. — «Это новый тип системы камер, новое устройство обработки изображений, способное увидеть невидимое невооруженным глазом».
Команда провела несколько успешных демонстраций эффективности своей системы в восприятии вибраций и качества звуковой реконструкции. Они захватили изолированный звук отдельных гитар, играющих в одно и то же время, и отдельных динамиков, играющих разную музыку одновременно. Они проанализировали вибрации камертона и использовали вибрации пакета Doritos рядом с динамиком, чтобы уловить звук, исходящий из динамика.
Ранее исследователи Массачусетского технологического института уже представили визуальный микрофон. Однако новая система CMU значительно улучшена по сравнению с прошлыми попытками захвата звука с помощью компьютерного зрения. В работе команды используются обычные камеры, которые стоят в несколько раз дешевле высокоскоростных версий, использовавшихся в прошлых исследованиях, но при этом обеспечивают более высокое качество записи. Система с двумя камерами может улавливать вибрации движущихся объектов, например движения гитары, когда музыкант играет на ней, и одновременно улавливать отдельные звуки из нескольких точек.
«Мы сделали оптический микрофон гораздо более практичным и удобным в использовании», — сказал Шриниваса Нарасимхан, глава ILIM. — «Мы улучшили качество, снизив при этом стоимость».
Система работает, анализируя различия в спекл-паттернах на изображениях, снятых с помощью скользящего затвора и глобального затвора. Алгоритм вычисляет разницу в спекл-паттернах двух видеопотоков и преобразует эти различия в вибрации для восстановления звука.
Спекл-паттерн характеризует то, как когерентный свет ведет себя в пространстве после того, как он отражается от неровностей поверхности. Команда создает спекл-паттерн, направляя лазер на поверхность объекта, производящего вибрации, например, на корпус гитары. Этот рисунок пятен меняется, когда поверхность вибрирует. Роллинг-шаттер захватывает изображение, быстро сканируя его, обычно сверху вниз, создавая изображение путем наложения одного ряда пикселей поверх другого. Глобальный затвор захватывает изображение сразу в одном экземпляре.
К Шейнину и Нарасимхану в исследовании присоединился Дориан Чан, доктор философии. студент компьютерных наук и Мэтью О'Тул, доцент кафедры RI и компьютерных наук.
«Эта система раздвигает границы того, что можно сделать с помощью компьютерного зрения», — сказал Мэтью О'Тул, доцент кафедры RI и компьютерных наук. — «Это механизм для захвата на высокой скорости крошечных вибраций, представляющий собой новую область исследований».
Большая часть работ в области компьютерного зрения сосредоточена на обучении систем распознаванию объектов или отслеживанию их в пространстве. То, что эта работа позволяет системам лучше видеть незаметные высокочастотные вибрации, открывает новые возможности для компьютерного зрения.
Система с двойным затвором и оптическим датчиком вибрации может позволить звукорежиссерам контролировать музыку отдельных инструментов без вмешательства остальной части ансамбля, чтобы точно настроить общее звучание. Производители могут использовать эту систему для мониторинга вибрации отдельных машин в заводских цехах, чтобы выявить ранние признаки неполадок.
Между тем в 2021 году группа учёных из Швейцарской высшей технической школы Цюриха совместно со специалистами из Эдинбургского университета разработали новую концепцию активной звуковой маскировки. Им удалось акустически скрыть существовавшие предметы, а также создать иллюзию присутствия предметов, которых не было в комнате. Скрываемый объект заключали в кольцо из микрофонов (контрольных датчиков), внутри которого находилось кольцо из динамиков (контрольных источников). Датчики регистрировали внешние акустические сигналы, доходящие до объекта. На основе измерений компьютер вычислял, какие вторичные звуки нужно выдать динамикам, чтобы соответствующим образом дополнить изначальное звуковое поле.
