Bet Bot: Спам-сеть игорной тематики

OpenAI заблокировала учетные записи, которые обращались к ее моделям через израильский стартап для генерации диалогов и отправки ссылок на гемблинговые сайты в X.

Этот кейс-стади был изначально опубликован в отчете OpenAI за октябрь 2024 года.

Субъект

Мы заблокировали группу учетных записей, использовавших наш API для генерации диалогов с пользователями в X и отправки им ссылок на сайты казино и ставок. Данная активность осуществляла доступ к нашим моделям через стартап из Израиля. Учитывая направленность операции на распространение ссылок на гемблинговые ресурсы и масштабное использование предположительно автоматизированных аккаунтов в X, мы назвали эту операцию «Bet Bot».

Поведение

Подобно операциям «Bad Grammar» и «A2Z», эта кампания задействовала наши модели для управления различными фальшивыми персонами в социальных сетях. Например, с их помощью создавались биографии, подбирались аккаунты для подписки, анализировались посты и комментарии, а также составлялись черновики ответов на английском языке. Затем эти ответы публиковались в X. Аккаунты в X обычно имели сгенерированные с помощью ИИ изображения профилей, баннеры и описания на спортивную тематику, в некоторых случаях заявляли о своем базировании в таких оплотах британского футбола, как Манчестер и Ливерпуль, и в массе своей были созданы в декабре 2023 года или июне 2024 года.

Typical account on X associated with this operation. Note the soccer theme, creation date, mismatch between handle and username, and low follower count. We assess that the profile picture was likely generated using AI (the distorted lettering is a potential open-source indicator). The banner image was copied from a Shutterstock original. X suspended the account during our investigation.

Типичный аккаунт в X, связанный с этой операцией. Обратите внимание на футбольную тематику, дату создания, несоответствие между ником и именем пользователя, а также небольшое количество подписчиков. По нашей оценке, изображение профиля, вероятнее всего, было создано с помощью ИИ (искаженные буквы служат возможным признаком использования открытых исходных кодов). Фоновое изображение было скопировано из оригинала на Shutterstock. Платформа X заблокировала этот аккаунт в ходе нашего расследования.

Несмотря на то, что в некоторых из этих аккаунтов использовались сгенерированные ИИ аватары (которые призваны выглядеть уникальными), организаторы иногда использовали одни и те же изображения повторно в разных учетных записях. У некоторых также были подозрительные, маловероятные имена вроде «KobeBryantJohnson». Даже в столь сложной операции операторы порой прибегали к упрощениям, которые потенциально снижали их собственную эффективность.

Two X accounts associated with this operation. Note the matching profile picture and low follower numbers. All but one of those followers was also run by this operation.

Два аккаунта в X, связанных с этой операцией. Обратите внимание на совпадающие изображения профилей и небольшое число подписчиков. Все эти подписчики, за исключением одного, также управлялись в рамках данной операции.

Результаты работы моделей (completions) в рамках операции делились на два типа. Часть из них разрабатывалась и применялась в качестве публичных комментариев в X. Как правило, участники операции выбирали короткое обсуждение в X, где уже участвовал не один человек, и генерировали ответный комментарий. После этого одна из фальшивых персон публиковала данный ответ в ветке обсуждения.

Typical comment by the

Типичный комментарий от фальшивого аккаунта «Ollie Smith» в X, сгенерированный с помощью наших моделей в ответ на футбольный пост пользователя X, не связанного с этой операцией. Диалог отсылает к матчу между сборными Англии и Словакии на чемпионате Европы 30 июня 2024 года.

Другая часть сгенерированного контента, судя по всему, предназначалась для личных сообщений (direct messages, DMs). В таких случаях входные данные операции напоминали сообщения от реальных пользователей, а выходные создавались в виде ответов. Поскольку личные сообщения являются закрытым сервисом и не носят публичный характер, мы не можем подтвердить, были ли отправлены эти ответы; тем не менее, в некоторых случаях промпты операции указывают на то, что диалог, состоящий из нескольких реплик, действительно имел место. Все выявленные нами фальшивые профили в X имели очень малое количество подписчиков — как правило, от единиц до нескольких десятков. Обычно каждый поддельный аккаунт был подписан на полтора десятка своих «коллег», поэтому даже эти низкие показатели были искусственно завышены. Тем не менее, некоторые аккаунты все же привлекли небольшое число по-видимому подлинных подписчиков.

Результаты генерации

Большая часть публичного контента этой операции касалась различных видов спорта, особенно футбола, а также бейсбола, баскетбола, софтбола, американского футбола и хоккея. Как правило, в нескольких постах каждого фейкового аккаунта в X затрагивалась политика США или Великобритании. При этом в них не прослеживалась единая идеология или поддержка какого-то конкретного кандидата либо партии.

Sample comments on softball and politics by another fake account in the network. In each image, a verified user made a post, a second user not linked to this operation replied to it, and an account run by Bet Bot replied to the second user.

Примеры комментариев о софтболе и политике, оставленных другим фальшивым аккаунтом в сети. На каждом изображении верифицированный пользователь публикует пост, второй пользователь, не связанный с данной операцией, отвечает на него, а аккаунт, управляемый Bet Bot, отвечает второму пользователю.

Контент, предположительно предназначавшийся для личных сообщений, практически никогда не затрагивал политику. Напротив, в нем постоянно фигурировала тема азартных игр. В некоторых случаях он содержал URL-адреса из общедоступных сервисов сокращения ссылок вроде bit[.]ly. Все исследованные нами ссылки вели на онлайн-казино и игорные сайты. Фактически данная операция представляла собой конвейер по генерации контента, который использовал публичные комментарии о спорте и, изредка, о политике для маскировки своих поддельных аккаунтов, а затем рассылал людям спам со ссылками на гемблинг через личные сообщения.

Влияние

Это не выглядит операцией влияния, направленной на манипулирование политическими результатами, а скорее представляет собой современную спам-сеть, пытающуюся заманить людей на сайты азартных игр. Тем не менее, она демонстрирует уникальный набор тактик, техник и процедур (TTP), включая возможное использование личных сообщений. Учитывая вероятное применение закрытых сообщений и отсутствие данных о том, сколько именно людей (если вообще кто-либо) кликнули по гемблинговым ссылкам, имеющиеся у нас доказательства носят частичный характер и основаны на результатах генерации у операторов. Некоторые промпты указывали на то, что диалоги с несколькими обменами репликами действительно имели место, однако в них часто звучали скептические высказывания реальных пользователей в отношении ссылок на азартные игры или заявления о том, что они не играют в онлайн-казино. Кроме того, у поддельных аккаунтов было очень мало подписчиков, что говорит об ограниченности их потенциальной аудитории. Тем не менее, наши данные показывают, что по крайней мере некоторым аккаунтам сети удалось найти способ вовлечь пользователей в общение в X через личные сообщения — по крайней мере на достаточное время, чтобы отправить им ссылку. Это свидетельствует об умении выходить за рамки собственного эхо-капустника фальшивых персон. Таким образом, используя шкалу прорыва (Breakout Scale), мы оцениваем данную активность как относящуюся к Категории 2, для которой характерна активность на одной платформе при наличии некоторых свидетельств вовлечения реальных людей.

Автор

OpenAI

Полный текст статьи читайте на OpenAI