Программист из Минска победил в конкурсе Facebook Deepfake Detection Challenge
В сентябре 2019 года компания Facebook запустила конкурс Deepfake Detection Challenge (DFDC), посвящённый разработке алгоритмов обнаружения дипфейков, с призовым фондом в $1 млн. Итоги конкурса стали известны на прошлой неделе. Первое место занял Селим Сефербеков, инженер по машинному зрению из Минска, работающий в белорусской компании Mapbox.
Дипфейки, то есть фальшивые видео, созданные с использованием искусственного интеллекта, в последние годы стали проблемой для социальных сетей. Как ранее отмечали представители Facebook, опасность дипфейков кроется в возможности их использования для дезинформационных кампаний или в политике, например, при проведении выборов. Социальная сеть рассчитывает разработать алгоритм, который позволит обнаруживать и помечать дипфейки в автоматическом режиме. Попытка создания такого алгоритма и была целью конкурса DFDC.
В DFDC приняли участие 2265 команд. Конкурс проходил на платформе Kaggle. Первое место занял Селим Сефербеков, программист из Минска, который получил за свою победу $500 тыс. На втором месте оказалась команда \WM/ ($300 тыс.), на третьем — российская компания NtechLab ($100 тыс.). Четвёртое и пятое места заняли соответственно команды Eighteen years old ($60 тыс.) и The Medics ($40 тыс).
Как пишет Synced, изначально в конкурсе победила команда под названием All Faces Are Real, однако позже она была лишена первого места за нарушение правил использования внешних данных. Издание указывает, что правила конкурса DFDC позволяли командам использовать внешние данные для разработки и тестирования алгоритмов при условии, что команда «обеспечит доступ к внешним данным для всех участников конкурса бесплатно». All Faces Are Real создала собственный датасет изображений лиц, взятых из видео, опубликованных YouTube, а также с Flickr-Faces-HQ. Как отмечают участники команды, данные источники опубликованы с пометкой CC-BY, которая подразумевает их свободное использование третьей стороной. Однако Facebook потребовала от команды предоставить дополнительные разрешения на использование изображений.
«В частности, нас попросили предоставить дополнительные разрешения от лиц, фигурирующих в нашем внешнем наборе данных. К сожалению, поскольку изображения были взяты были из общедоступных наборов данных, у нас не было конкретного письменного разрешения от каждого человека, присутствующего в видео, и у нас не было никакой возможности идентифицировать этих людей», — отметили члены команды, которая после решения Facebook оказалась на седьмом месте.
Многим специалистам по машинному обучению смещение All Faces Are Real с первого места показалось несправедливым. В частности, гроссмейстер Kaggle Габор Фодор заявил, что эта «полудисквалификация подозрительна».
«Я очень разочарован этим решением, оно подрывает доверие участников», — указал он в ветке обсуждения конкурса на Kaggle.
«Это действительно ужасно. Facebook подтолкнула Kaggle к «полудисквалификации» законных победителей конкурса», — заявил сотрудник NVIDIA Боян Тунгуз в Твиттере.
Многие участники отметили неоднозначность правил, касающихся использования внешних данных. Вопрос об использовании сторонних датасетов задавал также победитель конкурса Селим Сефербеков, причём его вопрос оставался без ответа в течение месяца, указывает Synced.
На организацию конкурса Facebook потратила около $10 млн. Компания наняла более 3,5 тыс. актеров для создания тысяч видеороликов. Затем компания передала эти датасеты исследователям. Первый датасет был общедоступным, второй, состоящий из более 10 тыс. видео, закрытым. Видео из закрытого датасета создавались с использованием дополнительных технических приёмов — скорректированной частотой кадров, наложением изображений и различных фильтров. Алгоритмы участников добились точности обнаружения дипфейков в 82% для общедоступных датасетов, однако точность распознавания дипфейков из закрытых наборов данных оказалась существенно ниже. В частности, алгоритм победителя Селима Сефербекова показал точность свыше 65%.
Тем не менее, как пишет TechCrunch, в Facebook назвали итоги конкурса многообещающими. Как указывает издание, самым сложным было определить, можно ли использовать искусственный интеллект для обнаружения дипфейков, и конкурс показал, что это возможно.
Алгоритмы-победители будут опубликованы в свободном доступе. Кроме того, Facebook по завершении конкурса опубликовала датасет из более 100 тыс. дипфейков, которым свободно могут пользоваться исследователи в сфере машинного обучения. Компания не планирует внедрять на собственную платформу ни один из победивших алгоритмов, так как точность определения даже в 65% пока недостаточно хороша. Вместо этого Facebook продолжит использовать уже работающий собственный детектор. Конкурс DFDC, как пояснил технический директор компании Майкл Шропфер, призван был «простимулировать отрасль».
Как считает Селим Сефербеков, для усовершенствования алгоритмов необходимо сосредоточиться на переходах между видеокадрами.
«Даже у очень качественных дипфейков между кадрами есть помехи. Люди хорошо замечают эти несоответствия, особенно когда речь идёт о лицах. Но автоматическое обнаружение этих дефектов потребует больших и разнообразных обучающих данных и гораздо большей вычислительной мощности», — приводит его комментарий MIT Technology Review.
Facebook, в свою очередь, предполагает, что обнаружение дипфейков можно улучшить с помощью методов, выходящих за рамки анализа самого изображения или видео, таких как оценка его контекста или происхождения контента.
