В Facebook AI научились находить источники дипфейков
В Facebook AI в сотрудничестве с исследователями из Университета штата Мичиган (MSU) разработали метод обнаружения дипфейков, который основан на реверс-инжиниринге фейкового изображения, а также самой системы, использованной для его создания.
Компания утверждает, что этот метод поддержит усилия по обнаружению и отслеживанию дипфейков в «реальных» условиях, когда нельзя обнаружить исходник.
Текущие методы выявления дипфейков сосредоточены на различении реальных изображений и поддельных. Microsoft недавно запустила решение для борьбы с дипфейками в Video Authenticator. Этот инструмент может анализировать фотографии или видео. Победители конкурса Deepfake Detection Challenge от Facebook, который завершился в июне 2020 года, создали систему, которая может распознавать дипфейк-видео с точностью до 82%.
Реверс-инжиниринг не является новой концепцией в машинном обучении. Современные методы могут прийти к исходной модели путем изучения ее входных и выходных данных или изучения информации об использованном оборудовании. Однако эти методы зависят от уже имеющихся знаний о самой модели, что ограничивает их применение.
Процесс распознавания Facebook и MSU начинается с атрибуции, а затем система аботает над обнаружением свойств модели, используемой для создания дипфейка. Обобщая атрибуцию изображений и отслеживая сходства между шаблонами коллекции дипфейков, она может сделать вывод о генеративной модели, используемой для создания дипфейка, и сказать, произошла ли серия изображений из одного источника.
Система прогоняет дипфейк через сеть оценки отпечатков (FEN), которая извлекает детали о «цифровом отпечатке», оставленном моделью, которая его сгенерировала. Это уникальные шаблоны, которые можно использовать для идентификации генеративных моделей, из которых произошли дипфейки.
Исследователи оценили «цифровые отпечатки», используя различные ограничения. Они использовали эти ограничения для создания набора данных, который затем применили, чтобы обучить модель обнаруживать отпечатки, с которыми она раньше не сталкивалась.
Facebook и MSU заявляют, что их система может оценивать как сетевую архитектуру алгоритма, используемого для создания дипфейка, так и его функции потерь при обучении, которые оценивают, как алгоритм моделирует свои обучающие данные. Она также раскрывает особенности модели, использованной для создания дипфейка.
Чтобы проверить этот подход, исследовательская группа собрала набор данных поддельных изображений из 100 тысяч дипфейков, созданных на основе 100 общедоступных моделей. Их либо брали из готовых наборов данных, либо использовали собственный код для создания.
Исследователи обнаружили, что их подход работает «значительно лучше» и «конкурирует» с современными методами обнаружения и атрибуции дипфейков. Более того, они говорят, что он может быть применен для обнаружения скоординированных атак дезинформации, когда различные дипфейки загружаются на разные платформы, но все происходят из одного источника. В том числе, метод может работать при обнаружении поддельного текста на изображениях. На днях Facebook AI представила проект искусственного интеллекта TextStyleBrush, который может копировать стиль текста на фотографии, используя всего одно слово, чтобы редактировать и заменять текст в изображениях.
Facebook и MSU планируют открыть исходный код набора данных и обученных моделей, используемых для создания системы, чтобы облегчить исследования в различных областях.
