Фальшивка: Поддельное сообщение об ошибке «российского тролля»01.10.2024 00:00

Этот тематический анализ был изначально опубликован в отчете OpenAI за октябрь 2024 года⁠.

18 июня в сети X появилась публикация, якобы разоблачающая аккаунт российского тролля, у которого закончились кредиты на использование GPT‑4o. Публикация быстро стала вирусной. Наше расследование показало, что эта запись была фальшивкой, которая не могла быть создана нашими моделями. Тем не менее, более ранние посты того же аккаунта в X действительно генерировались с помощью наших моделей, очевидно, в попытке спровоцировать споры. Эта активность, вероятнее всего, исходила из Соединенных Штатов. После дальнейшего расследования мы заблокировали этот аккаунт в OpenAI; в публичных источниках сообщается, что аккаунт в X также был приостановлен.

Этот розыгрыш состоял из аккаунта в OpenAI и аккаунта в X. Первоначально аккаунт в OpenAI использовал наши модели для генерации коротких провокационных комментариев в ответ на посты других пользователей в X. Затем эти комментарии публиковались от имени аккаунта в X. Эта активность происходила в середине июня. 18 июня аккаунт в X опубликовал комментарий, который выглядел как JSON-сообщение об ошибке от русскоязычного пользователя, пытавшегося сгенерировать контент в поддержку президента Трампа, но у которого закончились кредиты. Это сообщение не создавалось нашими моделями и, судя по всему, было сфабриковано вручную. Оно содержало фрагмент предполагаемого JSON-кода, который не был валидным JSON и содержал некорректную ссылку на название нашей модели.

Фейковый пост быстро стал вирусным: твиты о нем собрали тысячи репостов, публикации в LinkedIn и Reddit, многочисленные запросы от СМИ и даже разборы инцидента с его разоблачением.

Что касается контента, который действительно был сгенерирован с помощью наших моделей, субъект, стоявший за этим аккаунтом, создавал контраргументы для других пользователей X по самым разным темам. Они варьировались от фэнтезийных игр и мотоциклов до споров о том, является ли Земля плоской. В большинстве случаев модели ставилась задача просто провоцировать споры, и именно это, а не какая-то определенная идеология, стало общей темой. Отчеты из открытых источников показывают, что в одном из постов аккаунта в X использовался эблистический термин для умаления умственных способностей оппонента по спору. Этот термин не генерировался нашими моделями и, судя по всему, был добавлен в результате какого-то другого процесса до публикации комментария.

Это была необычная ситуация, представляющая собой полную противоположность другим случаям, описанным в данном отчете. Вместо того чтобы наши модели использовались для введения людей в заблуждение, для дезинформации об использовании наших моделей применялась, судя по всему, не связанная с ИИ активность. Как следует из одного скриншота, оригинальный твит набрал пять репостов, 14 цитирований и три лайка. Твиты об этом твите разошлись по крайней мере в тысячу раз шире — впоследствии они получили дополнительное распространение на других платформах социальных сетей и привели к запросам со стороны ведущих СМИ. Это помещает данный розыгрыш в верхнюю часть Категории 3 по шкале прорыва (Breakout Scale), близко к переходу в Категорию 4, если бы мейнстримные СМИ усилили его охват. Это наглядный урок того, как быстро социальные сети могут распространить привлекательный фейк, но это также показывает, как ореол таинственности, некогда окружавший операции российского влияния, сменился гораздо более скептическим взглядом на их возможности. Одной из причин, почему фальшивка привлекла внимание аудитории, судя по всему, стало то, что она апеллировала к стереотипу о том, что российские тролли не только реальные люди, но порой еще и до смешного некомпетентны.

Автор