Пассивный визуальный микрофон и получение звука из видеозаписей
[embedded content]Звук является колебаниями высокой частоты, которые распространяются в окружающем источник пространстве. Эти волны достигают находящиеся рядом объекты и заставляют их испытывать вибрации определённой частоты. Группа исследователей Массачусетского технологического института сумела на основании этих вибраций, видимых на видеозаписи, частично восстановить исходный звук с некоторыми искажениями.
В работе Эйб Дэвис, Майкл Рубинштейн, Нил Вадва, Гаутам Майсор, Фредо Дуранд и Уильям Фриман использовали камеру, записывающую видео с частотой несколько тысяч кадров в секунду, и такие распространённые и подверженные вибрациям предметы, как фольга пакета чипсов, листья комнатного растения, грань коробки с салфетками или стакан с водой. Найти подобную видеокамеру в быту будет достаточно сложно, но их другая техника показала, что восстановление звука возможно и с помощью обычной записи частотой 60 кадров в секунду.
Качество восстановленного звука позволяет разделять отдельные слова и имеет высокие показатели отношения сигнал-шум. Восстановленные аудиозаписи даже позволяют смутно различать речь человека или использовать сервисы распознавания музыки.В представленном выше видеоролике на отметке 00:45 или на странице проекта показаны исходный звук (исследователи использовали хорошо известную любому, интересующемся историей звукозаписи, песенку «У Мэри был барашек») и восстановленный звук, при этом колебания на высокочастотном видео не видны невооружённому глазу — вибрации достигают порядка сотой пикселя.
Затем в видеоролике на отметке 1:50 демонстрируется оригинальный звук, записанный микрофоном сотового телефона, и восстановленный звук человеческой речи. При этом камера находилась на некотором удалении от вибрирующего от звуковых волн пакета чипсов, и между ней и объектом располагалось стекло, что увеличивало сложность задачи. Исследователи опять использовали первую из записанных песен.
На отметке 2:35 показано, что сервисы распознавания музыки способны «узнавать» восстановленные аудиозаписи, в частности была распознана песня Under Pressure группы Queen.
Представленные выше результаты были получены с камер с частотой съёмки кадров в тысячи кадров в секунду. Но также было показано, что артефакты съёмки обычных бытовых видеокамер (в частности, роллинг шаттер) иногда можно использовать для получения звука с частотой куда выше, чем частота кадров оригинальной видеозаписи. Результаты изменённой техники можно увидеть на отметке 3:35, исследователям удалось восстановить частоту в пять раз выше частоты кадров видеозаписи. Использовался всё тот же MIDI-файл с мелодией детской песенки.
Больше информации и аудиозаписей доступно на странице проекта. Группа исследователей обещает опубликовать код проекта в скором будущем.
