Сотрудники YouTube ищут ненависть на видео. ИИ наблюдает и учится
Реклама фильма BBC рядом с видеороликом националистической группировки «Национальное возрождение Польши»
Каждый день сотни людей в разных уголках США (а может и за границей) включают свои компьютеры и начинают смотреть YouTube. Но они делают это не ради удовольствия, совсем наоборот. Людей тошнит от этой работы, но таковы требования временного работодателя, компании Google — они должны просматривать видеоролики, искать ненавистнические выражения в титрах и речи, помечать видео как «оскорбительное» или «деликатное». Всё ради того, чтобы в такие видеоролики, не дай бог, не попала реклама крупного рекламодателя, которого потом загнобят за финансовую поддержку расистов и тому подобные грехи. С этим столкнулись Walmart, PepsiCo и Verizon, среди прочих.
YouTube и Google недавно оказались в центре скандала из-за деятельности маркетолога Эрика Фейнберга (Eric Feinberg), который поставил целью искоренить зло в интернете — распространение сайтов и видеороликов, которые соответствуют группам ненависти и сообществам, по ключевым словам типа «убить евреев». Фейнберг публиковал ссылки и скриншоты таких сайтов и видеороликов на YouTube, которые успешно зарабатывают, размещая рекламу в том числе известных брендов. Благодаря активисту проблема вышла на уровень национальных медиа, там появилось множество публикаций с примерами, как реклама той или иной фирмы появляется в видеоролике со сквернословием или ненавистническими высказываниями.
В результате YouTube был вынужден ужесточить проверку контента, на котором размещается реклама. Компания Google в официальном блоге пообещала, что наберёт в штат больше людей, которые будут следить за соблюдением правил, чтобы предотвратить появление рекламы на страницах с неподобающим содержанием.
Google сдержала обещание — и наняла множество временных работников («темпов») через ZeroChaos и другие сторонние агентства для найма временного персонала. Они работают на удалёнке и из своих домов просматривают видеоролики на YouTube, помечая и классифицируя агрессивный контент.
Разумеется, даже тысяча «темпов» не сможет просмотреть все видеоролики, которые человечество заливает на YouTube. По последней статистике, туда закачивается 400 часов видео в минуту, это примерно 600 000 часов в сутки. Если предположить, что для оценки видеоролика нужно посмотреть 10% его длительности, то тотальная модерация потребует наличия 7500 сотрудников, работающих сменами по 8 часов (
). На оплату такого количества персонала уйдёт почти миллион долларов в день.
Так что Google рассматривает белковый персонал как временное решение перед интеграцией нормального кремниевой системы ИИ, которая будет качественно классифицировать видеоролики. Фактически, сейчас «темпы» осуществляют обучение нейросети на примерах, показывая ей образцы «оскорбительных» и «деликатных» видеороликов.
Эрик Фейнберг говорил, что за годы исследований «составил базу данных из тысяч слов и фраз, которые связаны с гнусной активностью». Для примера, одно из таких слов — сербское слово «ханва», которое коррелирует с активностью джихадистов. По его мнению, компании Google потребуется очень много времени, чтобы составить такую базу, поэтому лучше купить лицензию у него. Но Google, как видим, пошла своим путём. «Проблема не может быть решена людьми и не должна решаться с помощью людей», — однозначно заявил коммерческий директор Google Филипп Шиндлер (Philipp Schindler) в недавнем интервью Bloomberg.
Сами сотрудники, которые выставляют оценки видеороликам, прекрасно осведомлены, что они тренируют ИИ. В то же время сотрудники уверены, что ИИ не справится с задачей, потому что классификация такого рода контента — очень тонкое дело. Нужны человеческие глаза и человеческий мозг, чтобы точно определить, какой контент является оскорбительным, говорят они. В этой связи вспоминается крылатое определение непристойности от американского судьи «I know it when I see it».
Но Google считает иначе, и сейчас при классификации видео они требуют от модераторов максимальной производительности. Приоритеты изменились, теперь производительность имеет приоритет над точностью, в некоторых случаях требуют выставить оценку для часового видео через несколько минут просмотра. Модераторы используют разные способы экономии времени: быстро сканируют титры, прокручивают видео рывками по 10 секунд. Они работают с таймером, который постоянно показывает время, затраченное на задачу, и предполагаемый дедлайн. В результате требуется не просто пометить видео как «не подходящее», у казать конкретную категорию: «Неподходящий язык» (подкатегории: ненормативная лексика, разжигание ненависти), «Жестокость» (подкатегории: терроризм, война и конфликт, смерть и трагедия, другое), «Наркотики», «Секс/обнажёнка» (подкатегории: оскорбительное содержание, нагота, другое). Модератор должен указать и «другой деликатный контент», если показано провокационное сексуально возбуждающее видео или «сенсационный и шокирующий» контент. Некоторый материал просто не вписывается в эти категории, что затрудняет работу модераторов. Особенно трудно судить, когда люди на видео разговаривают на иностранном языке (Google активно набирает модераторов со знанием иностранных языков).
Google также внедряет в поток тестовые задания с заранее известным ответом, чтобы проверять качество работы модераторов.
Модераторы говорят, что они всякого уже насмотрелись: самоубийства и такая жестокость, после просмотра которой требуется передышка на несколько часов, чтобы прийти в себя.
После запуска программы рейтингования контента в 2004 году за тяжёлый труд на «удалёнке» агентство ABE платило модераторам $20 в час. Если нервы выдерживают, можно было работать овертайм. Затем фирму ABE купила WorkForceLogic, а последнюю в 2012 году приобрела ZeroChaos. К настоящему времени условия работы ухудшились: оплату снизили до унизительных $15 в час, а максимальную рабочую неделю ограничили 29 часами. У этих работников Google нет оплачиваемых отпусков, их могут лишить работы в любой момент. И самое печальное, что они с каждым днём приближают своё увольнение, сами же тренируя машину выполнять свою работу.
