Facebook рассказал о работе модераторов в отделе по борьбе с порноместью

bpmumsaob3yk2vg5q8mb4yg6g3w.jpegНесколько дней назад стало известно, что Facebook в Австралии запустил программу по самозащите от порномести (revenge porn). Если девушка (или парень) хочет заранее заблокировать для распространения свои интимные фотографии, то должна пропустить их через серверы Facebook. Процедура якобы конфиденциальная: нужно прислать фотографию самому себе в Messenger и пометить её как «порноместь». Тогда вычисляется хэш файла — и он помещается в базу данных для блокировки. Фотография будет заблокирована для дальнейшего распространения во всех системах Facebook, включая приватные чаты.

Конечно, процедура конфиденциальная, но комментаторы сделали логичный вывод, что Facebook не позволит помещать в базу блокировки любые изображения. Например, кто-нибудь захэширует логотип Facebook — и что тогда, блокировать его во всей сети? То есть в такой системе по-любому должна работать модерация.

Сейчас Facebook официально подтвердил, что модерация есть. И рассказал о работе модераторов.
Новость об отправке своих интимных фотографий в Facebook вызвала некоторый резонанс в социальных сетях. Руководство Facebook официально не анонсировало запуск эксперимента (журналисты австралийских СМИ случайно узнали о ней в ходе расследования другого дела). Но сейчас, когда новость получила такой резонанс, пришлось спешно делать официальное заявление. «Хотя это небольшая пилотная программа, мы хотим чётко прояснить, как она работает», — пишет Facebook.

Facebook напоминает, что база хэшей интимных фотографий для блокировки работает с апреля 2017 года во всём мире. Каждый пользователь может в любой момент сообщить, если его интимные фотографии распространяются в сети без его разрешения. Исследования показали, что 93% пользователей в этом случае испытывают сильный эмоциональный стресс, а 82% сообщают о «значительном ухудшении социальных, профессиональных или других важных аспектов жизни». Facebook добавит хэш в базу и заблокирует файл.

Нынешняя программа в Австралии — небольшой эксперимент, который немножко расширяет действующую систему и позволяет проактивно помечать фотографии. Она запущена совместно с канцелярией Комиссара по электронной безопасности (eSafety Commissioner«s Office) при правительстве Австралии.

Система работает следующим образом:

  • Гражданин заполняет онлайновую форму на официальном веб-сайте Комиссара по электронной безопасности.
  • Чтобы указать конкретные фотографии для блокировки, гражданина просят отправить фотографии самому себе в Messenger.
  • Канцелярия Комиссара по электронной безопасности сообщает в компанию Facebook о необходимости добавить в базу новые интимные фотографии (через форму). При этом сотрудники самой канцелярии не имеют доступа к фотографии.
  • Как только получено уведомление, специально обученный сотрудник группы Community Operations рассматривает и хэширует изображение, в результате чего создаётся машиночитаемый цифровой отпечаток (хэш).
  • В базе Facebook хранится только хэш, но не сами фотографии. Как только кто-нибудь попытается загрузить фотографию на платформу Facebook, она, как и все остальные фотографии, прогоняется через эту базу данных с хэшами. Если найдено совпадение, то фотография блокируется для отправки или публикации.
  • После хэширования фотографии Facebook уведомляет об этом факте человека, который сообщил об интимном фото, по безопасной почте, которую он предоставил в канцелярии Комиссара по электронной безопасности. Его просят удалить фотографию из соответствующего чата Messenger на своём устройстве. Как только фотография удалена из чата, она удаляется с серверов Facebook.


Из этого описания проясняется несколько моментов. Во-первых, теперь официально заявлено, что интимные фотографии действительно рассматривают модераторы из отдела Community Operations. Во-вторых Facebook всё-таки некоторое время хранит интимные фотографии на своих серверах.

После такого объяснения у некоторых пользователей появилось ещё больше страхов: «Кто смотрит на фотографии? Что если они сделают скриншот и сами что-то сделают с фотографиями?» — такие вопросы они задают.

Специалисты по информационной безопасности также обращают внимание на то, что небольшая модификация фотографии изменит её хэш — и интимные фотографии практически в неизменном виде всё-таки смогут обойти блокировку Facebook.

Facebook как может пытается успокоить публику. В интервью Motherboard представитель компании заверил, что модераторы рассматривают размытые (заблюреные) фотографии. Сложно поверить, что Facebook в самом деле внедрил такую систему, скорее это звучит как неуклюжая попытка выйти из ситуации. По крайней мере, на просьбу уточнить, на каком этапе происходит размытие фотографий, представитель Facebook что-то промямлил про хэширование и сослался на статью, в которой ни слова про размытие.

Несмотря на все эти заверения, почему-то вспоминаются слова Марка Цукерберга из переписки в чате в 2004 году, на заре основания Facebook:

Цук: Да, так что если когда-нибудь понадобится инфа о ком-нибудь в Гарварде
Цук: Обращайся
Цук: У меня 4000 адресов электронной почты, фотографии, адреса, номера социального страхования
[Отредактировано имя друга]: Что? А их ты как достал?
Цук: Люди сами вносят.
Цук: Не знаю почему.
Цук: Они «верят мне»
Цук: Тупые придурки

© Geektimes