Выборы и искусственный интеллект в 2024 году: наблюдения и выводы12.12.2024 00:00

2024 год стал первым крупным избирательным циклом, прошедшим в условиях широкого доступа к генеративному искусственному интеллекту, а также первым крупным годом выборов, когда был доступен Claude. Учитывая опасения по поводу влияния генеративного ИИ на исходы выборов, мы приняли упреждающие меры безопасности и опирались на анализ использования с помощью нашего нового инструмента Clio. Во всех наших продуктах (Claude.ai, а также в API для собственных и сторонних разработчиков) активность, связанная с выборами, составила менее 0,5% от общего объема использования, поднявшись чуть выше 1% от общего числа запросов в недели, предшествовавшие выборам в США. Ниже представлены выводы о нашей работе по обеспечению безопасности выборов и уроки, извлеченные для будущих избирательных кампаний.

Наш подход к безопасности

В феврале 2024 года мы описали три основных компонента нашей работы, связанной с выборами:

• Во-первых, мы разработали и внедрили исчерпывающие правила, касающиеся вопросов выборов. Наша Полоба использования запрещает ведение предвыборной агитации и вмешательство в выборы, включая продвижение кандидатов или партий, сбор голосов или пожертвований, а также генерацию дезинформации. В мае 2024 года мы расширили эти правила, чтобы охватить кампании по влиянию на избирателей, таргетинг на избирателей, выдачу себя за других лиц и вмешательство в выборы.
• Во-вторых, мы тщательно протестировали производительность наших моделей на предмет потенциального неправомерного использования. Мы провели более десятка раундов тестирования на уязвимость к нарушениям правил — форму целевого «красного тестирования» (red-teaming) с внешними экспертами по политике — для выявления рисков и корректировки ответов Claude. Наше тестирование было сосредоточено на обнаружении недостоверной информации, оценке равенства подходов к кандидатам и проблемам, а также на понимании частоты отказов на вредоносные запросы. Мы проводили регулярное тестирование в преддверии всеобщих выборов в Индии, ЮАР, Мексике, Великобритании, Франции и выборов в Европейский парламент, а также ежедневное тестирование ответов Claude на нарративы с дезинформацией в период выборов в США.

  В-третьих, мы направляли пользователей, ищущих информацию о голосовании, к авторитетным, беспристрастным источникам, включая TurboVote / Democracy Works в США и профильным избирательным органам в других регионах, в том числе на сайт Парламента ЕС, в Избирательную комиссию Великобритании и на сайт административных выборов Франции.

За последний год мы провели около 100 мер принудительного характера по всему миру в связи с выборами, включая предупреждения, а в некоторых случаях и блокировку аккаунтов за повторные нарушения. В отличие от социальных сетей, которые продвигают или скрывают видимый контент с помощью алгоритмических лент, чат-боты, такие как Claude, функционируют в основном посредством индивидуального взаимодействия между пользователями, что снижает риск масштабного распространения. Кроме того, в настоящее время Claude выводит только текст, что исключает угрозу дипфейков. Хотя векторы злоупотреблений остаются ограниченными, мы поддерживаем строгий мониторинг и осторожные протоколы реагирования по мере дальнейшего развития этих угроз.

Шаблоны использования и безопасность с помощью Clio

Clio — это автоматизированный инструмент, который позволяет анализировать реальное использование языковых моделей и служит дополнением к нашим существующим стратегиям снижения рисков и обеспечения соблюдения правил, предоставляя информацию о том, как люди используют нашу модель или злоупотребляют ею. Clio берет реальные диалоги пользователей с языковой моделью и преобразует их в абстрактные, понятные тематические кластеры. Вы можете узнать больше об этом инструменте в нашем блоге.

Первым применением Clio в контексте выборов стал анализ паттернов использования во время выборов в США. В неделю выборов (со 2 по 8 ноября) мы зафиксировали заметный рост использования, связанного с выборами (Рисунок 1). Примерно в двух третях связанных с выборами диалогов пользователи просили Claude проанализировать и объяснить политические системы, политику, текущие события и политические вопросы, либо проанализировать политические данные, такие как модели голосования и политические тенденции. Другие, менее распространенные, но все же актуальные варианты использования включали просьбы к Claude перевести информацию о выборах, а также запросы на создание образовательного контента о демократии и государственном управлении.

Рисунок 1: График демонстрирует примерную частоту диалогов, связанных с выборами, в США в недели, предшествовавшие президентским выборам в США, с использованием инструмента Clio для бесплатного и профессионального трафика Claude.ai.

Взаимодействия, связанные с выборами, составляют очень небольшой процент от общего использования Claude.ai — менее 1% диалогов затрагивают темы, связанные с выборами. При этом лишь малая часть нарушала нашу Политику использования (нарушения в основном были связаны с политической агитацией), и к ним применялись меры по смягчению последствий, описанные выше. В преддверии выборов в США мы наблюдали всплеск числа связанных с выборами диалогов.

Практический пример: учет дат ограничения знаний

Наш опыт в этом году высветил важность прозрачной коммуникации об ограничениях наших систем. Когда во Франции летом были объявлены досрочные выборы, мы столкнулись с проблемой: наша модель, обученная только по апрель 2024 года включительно, не могла предоставить точную информацию о новых сроках выборов. Понимая, что вопросы пользователей об избирательной кампании, о которой модель ничего не знает, могут привести к путаным ответам Claude, мы постарались обеспечить более четкое информирование о дате ограничения знаний (cutoff date) Claude — как в системном промпте модели, так и в пользовательском интерфейсе с помощью специального баннера о выборах. Это помогло пользователям лучше понять ограничения модели и подтолкнуло их к поиску информации из авторитетных источников там, где это необходимо.

Ответ Claude до изменения системного промпта (модель Claude Opus)

Ответ Claude после изменения системного промпта (новая модель Sonnet 3.5)

Взгляд в будущее

Защита честности выборов требует постоянной бдительности и адаптации по мере развития технологий искусственного интеллекта. Мы по-прежнему привержены разработке сложных систем тестирования, укреплению сотрудничества в отрасли и поддержанию прозрачной коммуникации о наших результатах в стремлении защитить демократические процессы.