Пресечение мошеннического использования ИИ в скрытых информационных операциях30.05.2024 10:00

OpenAI стремится пресекать любые злоупотребления и повышать прозрачность контента, создаваемого с помощью искусственного интеллекта. Это особенно актуально для выявления и блокирования скрытых информационных операций (ИО), цель которых — манипулирование общественным мнением или влияние на политические процессы без раскрытия истинных личностей и намерений тех, кто за ними стоит.

За последние три месяца мы пресекли пять скрытых информационных кампаний, пытавшихся использовать наши модели для поддержки мошеннической активности в интернете. По состоянию на май 2024 года эти кампании не смогли существенно увеличить свою аудиторию или охват благодаря использованию наших сервисов.

В этой статье описываются заблокированные нами субъекты угроз, выявленные тенденции в поведении злоумышленников, а также важные защитные аспекты. В частности, мы рассказываем о том, как проектирование ИИ с учетом принципов безопасности в ряде случаев помешало злоумышленникам создавать желаемый контент, и как инструменты искусственного интеллекта сделали наши собственные расследования более эффективными. Параллельно с этой публикацией мы выпускаем отчет с анализом тенденций, в котором подробно описывается поведение этих вредоносных субъектов.

Читать полный отчет⁠

Субъекты угроз действуют по всему интернету. Мы — тоже. Сотрудничая с представителями индустрии, гражданским обществом и государственными структурами, мы противодействуем созданию, распространению и последствиям контента информационных операций. Наши расследования и блокировки стали возможными во многом благодаря многолетней детальной работе по отчетности об угрозах, которую ведут дистрибьюторские платформы и сообщество разработчиков ПО с открытым исходным кодом. OpenAI публикует эти результаты, подобно другим технологическим компаниям, чтобы способствовать обмену информацией и передовым опытом среди более широкого сообщества заинтересованных сторон.

Пресечение скрытых информационных операций

За последние три месяца наша работа против участников информационных операций позволила пресечь деятельность скрытых кампаний, которые стремились использовать модели ИИ для различных задач: от генерации коротких комментариев и объемных статей на разных языках до придумывания имен и биографий для учетных записей в социальных сетях, проведения исследований по открытым источникам, отладки простого кода, а также перевода и вычитывания текстов.

В частности, мы пресекли деятельность следующих субъектов:

• Ранее не фиксировавшуюся операцию из России, которую мы назвали Bad Grammar; она действовала в основном в Telegram и была нацелена на Украину, Молдавию, страны Балтии и США. Лица, стоящие за Bad Grammar, использовали наши модели для отладки кода для работы Telegram-бота и создания коротких политических комментариев на русском и английском языках, которые затем публиковались в Telegram.
• Операцию российского происхождения, известную как Doppelganger⁠ («Двойник»). Лица, действовавшие от имени Doppelganger, использовали наши модели для генерации комментариев на английском, французском, немецком, итальянском и польском языках, которые публиковались в X и 9GAG; перевода и редактирования статей на английском и французском языках, размещавшихся на сайтах, связанных с этой операцией; генерации заголовков;, а также преобразования новостных статей в посты для Facebook.
• Китайскую сеть, известную как Spamouflage⁠, котораяиспользовала наши модели для исследования публичной активности в соцсетях, создания текстов на китайском, английском, японском, корейском и других языках для публикации на таких платформах, как X, Medium и Blogspot, а также для отладки кода администрирования баз данных и веб-сайтов, включая ранее не фиксировавшийся домен revealscum[.]com.
• Иранскую операцию, известную как Международный союз виртуальных медиа⁠ (IUVM), которая использовала наши модели для создания и перевода лонгридов, заголовков и тегов для сайтов, публиковавшихся на ресурсе иранской группировки iuvmpress[.]co;
• Активность израильской коммерческой компании STOIC (технически мы заблокировали именно деятельность, а не саму компанию). Мы присвоили этой операции кодовое имя Zero Zeno — в честь основателя стоической школы философии. Лица, стоящие за Zero Zeno, использовали наши модели для генерации статей и комментариев, которые затем публиковались на множестве платформ, в частности в Instagram, Facebook, X и на сайтах, связанных с этой операцией.

Контент, публикуемый этими структурами, затрагивал широкий круг тем, включая вторжение России в Украину, конфликт в Газе, выборы в Индии, европейскую и американскую политику, а также критику китайского правительства со стороны китайских диссидентов и иностранных государств.

Пока что эти операции не получили заметного прироста вовлеченности аудитории или охвата благодаря использованию наших сервисов. Согласно шкале прорыва Брукингского института (Breakout Scale), ⁠ которая оценивает влияние скрытых ИО по шкале от 1 (минимальный) до 6 (максимальный), ни одна из пяти операций в наших кейсах не набрала больше 2 баллов (активность на множестве платформ без выхода на реальные сообщества).

Тенденции в действиях злоумышленников

Основываясь на расследованиях информационных операций из нашего отчета, а также на данных независимого сообщества исследователей, мы выделили следующие тенденции в недавнем использовании искусственного интеллекта скрытыми субъектами влияния.

• Генерация контента: Все эти субъекты использовали наши сервисы для создания текстов (и изредка изображений) в больших объемах и с меньшим количеством языковых ошибок, чем это было бы возможно для людей-операторов без посторонней помощи.
• Сочетание старого и нового: Все эти кампании в той или иной степени использовали ИИ, но ни одна не полагалась исключительно на него. Материалы, созданные ИИ, были лишь одним из многих типов контента наряду с более традиционными форматами — текстами, написанными вручную, или мемами, скопированными из разных уголков сети.
• Имитация вовлеченности: Некоторые из заблокированных нами сетей использовали наши сервисы для создания видимости активности в социальных сетях — например, генерируя ответы на собственные посты. Это отличается от привлечения настоящего интереса аудитории, добиться которого в значительных масштабах не удалось ни одной из описанных нами сетей.
• Рост производительности: Многие выявленные и заблокированные нами злоумышленники использовали наши сервисы для повышения эффективности своей работы, например, для суммирования постов в соцсетях или отладки кода.

Тенденции в сфере защиты

Хотя большая часть публичных дискуссий до сих пор сосредоточена на потенциальном или реальном использовании ИИ злоумышленниками, важно помнить о преимуществах, которые ИИ предоставляет защитникам. Наши расследования также выигрывают от обмена данными в индустрии и исследований открытых источников.

• Защита на этапе проектирования: Мы создаем препятствия для субъектов угроз с помощью систем безопасности, которые отражают наш подход к ответственному внедрению ИИ⁠. Например, мы неоднократно фиксировали случаи, когда наши модели отказывались генерировать текст или изображения по запросу злоумышленников.
• Расследования с поддержкой ИИ: Аналогично нашему подходу к использованию GPT‑4 для модерации контента⁠ и кибербезопасности⁠, мы создали собственные инструменты на базе ИИ, чтобы сделать обнаружение и анализ более эффективными. Благодаря этим инструментам расследования, описанные в сопутствующем отчете, заняли считанные дни, а не недели или месяцы. По мере совершенствования наших моделей мы будем и дальше использовать их возможности для улучшения наших расследований.
• Роль дистрибуции: Как и любой традиционный контент, материалы, созданные ИИ, должны распространяться, чтобы дойти до аудитории. Информационные операции публиковались на самых разных платформах, включая X, Telegram, Facebook, Medium, Blogspot и небольшие форумы, однако ни одной из них не удалось привлечь значительную аудиторию.
• Важность обмена информацией в отрасли: Чтобы усилить эффект от блокировки таких субъектов, мы делимся подробными индикаторами угроз с коллегами по индустрии. В то же время наши собственные расследования опирались на результаты многолетнего открытого анализа, проведенного широким исследовательским сообществом.
• Человеческий фактор: ИИ может изменить набор инструментов, используемых операторами, но он не меняет самих операторов. Наши расследования показали, что эти лица совершают человеческие ошибки точно так же, как и предыдущие поколения, — например, публикуя в соцсетях и на сайтах сообщения наших моделей об отказе в запросе. Хотя важно учитывать меняющиеся инструменты злоумышленников, не стоит упускать из виду человеческие ограничения, которые влияют на их операции и процесс принятия решений.

Мы стремимся разрабатывать безопасный и ответственный искусственный интеллект, что подразумевает создание моделей с учетом требований безопасности и упреждающее пресечение вредоносного использования. Выявление и блокирование многоплатформенных злоупотреблений, таких как скрытые информационные операции, может быть сложной задачей, поскольку мы не всегда знаем, как именно распространяется контент, созданный нашими продуктами. Тем не менее, мы нацелены на масштабное выявление и устранение подобных нарушений, используя возможности генеративного ИИ.