Учёные сделали возможным воссоздание звуков по видеоряду
06 августа 2014, 12:14
Даже слабые акустические волны заставляют окружающие нас предметы вибрировать. Зафиксировать эти колебательные движения невооружённым глазом практически нереально, хотя при условии использования специального оборудования по ним можно воссоздавать звуки. Соответствующий алгоритм был разработан исследователи из Массачусетского технологического института (MIT) совместно со специалистами компаний Microsoft и Adobe.
Эксперимент проходил следующим образом. В комнате учёные запустили воспроизведение мелодии и оставили на полу упаковку чипсов, которую в замедленном режиме снимала стоявшая за звуконепроницаемым стеклом видеокамера. Амплитуда движений пакета составила лишь десятые доли микрометра, что примерно соответствует одной пятитысячной от размера пикселя в записанном видеоряде. Но по изменению цвета точек исследователи всё же извлекли нужную информацию. Аналогичные результаты были получены при использовании алюминиевой фольги, стакана с водой, наушников от смартфона и даже комнатного растения.[embedded content]
Возможно, уже в ближайшем будущем на рынке появится новый класс подслушивающих устройств. Отмечается, что чем выше частота кадров в видео, тем больше звуки будут похожи на оригинальную аудиозапись. К примеру, камера в лаборатории MIT снимала ролики на скорости от 2 000 к/с до 6 000 к/с.Новая технология также позволяет выделять звуки из обычного HD-видео с частотой 60 к/с. В этом случае принцип работы алгоритма немного отличается — при анализе отслеживается разница между смежными строчками кадра. Поскольку данные с каждого ряда пикселей сенсора потребительской камеры считываются с небольшой задержкой, на итоговом изображении могут быть заметны микроскопические смещения объекта.
Добавим, что учёные планируют выступить с докладом на международной конференции Siggraph.
Ранее редакторы THG.ru опубликовали результаты тестирования графического API AMD Mantle. Некоторые видеокарты Radeon совместимы с AMD Mantle, и ряд игр поддерживает данный API. Для анализа работы этого интерфейса программирования мы подобрали несколько CPU и графических ускорителей и протестировали их в играх Battlefield 4 и Thief. Подробнее об этом читайте в статье «AMD Mantle: углублённое тестирование графического API».
Популярные материалы:
