[Из песочницы] Защита фото от систем распознавания лиц работает?

image

За последние полтора месяца (с начала августа 2020) уже довольно много изданий/платформ и ресурсов говорили/писали про Алгоритм Fawkes: https://sandlab.cs.uchicago.edu/fawkes/#press.

Среди которых и Habr, The New York Times, The Verge и т.д.
Действительно, в наше время (тихий 2020 год) довольно актуальна тема со слежкой опознанием граждан по камерам наблюдения и поиск частными лицами по фото (FindFace, etc).

Исследователи из Чикагского университета придумали алгоритм клоакинга, для защиты от распознавания лиц. Выложили исходники на github: https://github.com/Shawn-Shan/fawkes.

В августе я прочитал про этот инструмент (Алгоритм Fawkes). И решил заменить свои фото в социальных сетях и на всех интернет ресурсах, где есть мои реальные фото.

Но, для начала, решил испробовать данный инструмент на своих фото:

  • запускается ли fawkes;
  • проверить собственными глазами результат работы fawkes;
  • проверить на заявленных ресурсах (теми же инструментами, что и автор fawkes проверял свой алгоритм).


Благо на https://github.com/Shawn-Shan/fawkes есть довольно подробная и простая инструкция по работе с fawkes.

Создателем fawkes заявлено, что алгоритм защищает от:

  • Microsoft Azure Face API,
  • Amazon Rekognition Face Verification,
  • Face++ Face Search API.


Данный список указан в «Technical Paper»:

image

На личном сервере собрал из исходников: git clone; pip3 install fawkes. Это было не просто, а очень просто.

Закинул свое фото на сервер «r1.jpg». И по инструкции обработал это фото с помощью fawkes.
На выходе получил второе фото: «r1_min_cloaked.png». Ура, я получил «клоакнутое» фото. Открыл фото «r1_min_cloaked.png» — посмотреть своими глазами. Изменения заметны, но не критичны. Вокруг глаз, переносицы и носа — есть не значительные затемнения.

image

После этого решил проверить результат («r1_min_cloaked.png») на сервисах «Microsoft Azure Face API», «Amazon Rekognition Face Verification» и «Face++ Face Search API».

Результат:

r1-and-r1_cloacked

Как видим — нейросеть «Microsoft Azure Face API» показала, что оригинальное фото (слева на скриншоте) и фото после обработки (справа на скриншоте) — один человек. Аналогичные цифры показали и остальные инструмента проверки: нейросети «Amazon Rekognition Face Verification» и «Face++ Face Search API».

То же самое с «защитой» фото других людей/персон:

r1_and_cat

obama_origin_and_cloacked

emily_origin_and_cloacked

queen_origin_and_cloacked_faceplusplus

obama_origin_and_cloacked_faceplusplus

То есть по состоянию на середину сентября «Fawkes» не работает. Возможно, конечно, «Fawkes» работала в августе 2020 года. Но в сентябре 2020 году — уже не работает.

Неделю назад писал письмо разработчику «Fawkes» и его команде «Fawkes team», с просьбой помочь подтвердить работу алгоритма. Но ответного письма пока не получил.

На данный момент я так и не смог подтвердить работу «Fawkes».

© Habrahabr.ru