Нейросеть Disney Research реалистично заменяет лица на видео
Инженеры Disney Research разработали нейросеть, которая заменяет лица на фотографиях и в видео. Замена осуществляется в полностью автоматизированном режиме. Как показано на видео (под катом), дипфейк реалистично заменяет мимику и речь в соответствии с оригиналом.
За несколько лет системы автоматизированной подмены лиц на основе нейронных сетей превратились из слегка убедительных в устрашающе правдоподобные. Благодаря новым исследованиям Disney, нейронная замена лиц готова стать высококачественным инструментом для студий визуальных эффектов, работающих над голливудскими блокбастерами. Возможно, систему могут использовать для реалистичной подделки видеозаписей в целях развлечения.
Одна из самых больших проблем при создании видео-дипфейков — создание обширной базы данных изображений лица человека из тысяч различных выражений и поз, которыми можно заменить на целевое видео. Чем больше база данных и чем выше качество изображений, тем лучше будет получаться замена лиц. Но изображения (чаще всего снимки знаменитостей) обычно извлекаются из источников с ограниченным разрешением. Даже видеофайл 4K может дать изображения лиц с низким разрешением, учитывая, как часто маленькие лица появляются в общем кадре.
Поэтому первый шаг к созданию действительно убедительных дипфейков — начать с высококачественного источника. Новая статья, представленной на симпозиуме Eurographics по рендерингу 2020 года, называется «Нейронная замена лиц с высоким разрешением для визуальных эффектов». В ней исследователи из ETH Zurich и Disney Research Studios подробно описывают несколько инноваций и новых подходов к автоматизированной замене лиц, которые дают мегапиксельные результаты с достаточным качеством и разрешением, чтобы их можно было использовать для реального производства фильмов.
Новый алгоритм, созданный исследователями, начинается с фактического изменения исходного (или целевого видео), чтобы облегчить замену. Движение в исходном кадре тонко стабилизируется и сглаживается, чтобы устранить потенциальные проблемы, такие как слегка дрожащая губа, которая потенциально может сбросить автоматизированный процесс замены на более позднем этапе. Исследователи также улучшили несколько других шагов на этом пути, включая смешивание нового лица с оригиналом с помощью улучшенных методов, чтобы лучше соответствовать общему контрасту. Алгоритм даже гораздо лучше справляется с генерацией промежуточных кадров, необходимых для создания гладких результатов, чтобы новое лицо не прыгало при воспроизведении изменённых кадров.
Замена лиц часто применяется в кино-и телепроизводстве: часто дублёр-каскадёр на мгновение попадает в кадр, требуя обширной постпродакшн-обработки, чтобы гарантировать правильный вид актёра во всех кадрах. Исправление этих проблем часто может потребовать пересъёмки или умной компьютерной графики. С помощью этого нового исследования существующие кадры с одной и той же съёмки можно использовать для обучения алгоритма, который затем исправит эти проблемы самостоятельно, пишут исследователи.
Новый инструмент также значительно затруднит обнаружение видео-дипфейков в дикой природе. Можно предположить, что в интернете скоро появится новая волна поддельных видеороликов, где лица реальных актрис заменяются на лица знаменитостей или произвольных девушек. Как показывают исследования, замене в дипфейках чаще всего подвергаются именно лица женского пола.
