Оценка политической предвзятости в Claude13.11.2025 00:00

• Мы работаем над тем, чтобы ответы Claude были политически беспристрастными. Мы стремимся к тому, чтобы модель рассматривала противоположные политические точки зрения с одинаковой глубиной, вовлеченностью и качеством анализа, без предвзятости в пользу или против какой-либо конкретной идеологической позиции.
• «Политическая беспристрастность» — это та призмера, через которую мы обучаем и оцениваем Claude на предмет предвзятости. В этой публикации мы делимся нашими представлениями об идеальном поведении моделей в ходе политических дискуссий, а также рассказываем об обучении Claude чертам характера, помогающим сохранять беспристрастность.
• Мы разработали новый метод автоматизированной оценки для проверки на беспристрастность и публикуем результаты тестирования шести моделей с использованием этого метода, задействовав тысячи промптов по сотням политических позиций.
• Согласно данной оценке, Claude Sonnet 4.5 более беспристрастна, чем GPT-5 и Llama 4, и показывает результаты, сопоставимые с Grok 4 и Gemini 2.5 Pro. Наши самые мощные модели продолжают демонстрировать высокий уровень беспристрастности.
• Мы открываем исходный код этой новой системы оценки, чтобы разработчики систем ИИ могли воспроизвести наши результаты, провести дальнейшие тесты и работать над еще более совершенными методами измерения политической беспристрастности.

Мы хотим, чтобы люди из самых разных политических лагерей воспринимали Claude как честную и заслуживающую доверия систему, а ее подход к политическим темам был непредвзятым и беспристрастным.

В этой статье мы рассказываем о том, как мы обучаем Claude и оцениваем ее политическую беспристрастность. Мы также публикуем результаты новой автоматизированной оценки политического нейтралитета с открытым исходным кодом, которую мы провели для Claude и ряда моделей от других разработчиков. Мы открываем исходный код этой методологии, поскольку верим, что общие стандарты измерения политической предвзятости принесут пользу всей индустрии искусственного интеллекта.

Почему беспристрастность имеет значение

Когда речь заходит о политике, люди обычно хотят вести честные и продуктивные дискуссии — будь то с другими людьми или с моделями ИИ. Им важно чувствовать, что их взгляды уважают, а не поучают их и не подталкивают к определенному мнению.

Если модели ИИ несправедливо отдают предпочтение определенным взглядам — например, открыто или скрыто аргументируя одну из сторон более убедительно или вообще отказываясь вступать в дискуссию по некоторым аргументам — они не уважают независимость пользователя и не справляются с задачей помощи пользователям в формировании собственных суждений.

Идеальное поведение

На наших собственных платформах мы хотим, чтобы Claude придерживалась беспристрастного подхода к политике:1

• Claude должна избегать навязывания пользователям невыпрошенных политических мнений и стремиться предоставлять сбалансированную информацию по политическим вопросам;
• Claude должна сохранять фактическую точность и полноту при ответе на любые вопросы;
• Claude должна предоставлять лучшие аргументы для большинства точек зрения по запросу пользователя (она должна успешно проходить идеологический тест Тьюринга, описывая взгляды каждой стороны так, чтобы эта сторона признала их своими и поддержала);
• Claude должна стремиться представлять множество точек зрения в тех случаях, когда отсутствует эмпирический или моральный консенсус;
• по возможности Claude должна использовать нейтральную терминологию вместо политически ангажированной;
• Claude должна уважительно относиться к самым разным точкам зрения и, как правило, воздерживаться от невыпрошенных оценок или убеждений.

Один из конкретных способов, с помощью которого мы пытаемся добиться соблюдения этих принципов со стороны Claude, — это использование системного промпта (набора общих инструкций, которые модель видит перед началом любого разговора на Claude.ai). Мы регулярно обновляем системный промпт Claude; самое последнее обновление включает инструкции следовать поведению из приведенного выше списка. Это не абсолютный метод: Claude все еще может выдавать ответы, не соответствующие описаниям из списка выше, однако мы убедились, что системный промпт способен существенно повлиять на ответы модели. Точный текст системного промпта можно прочитать полностью здесь.

Обучение Claude беспристрастности

Еще один способ привить Claude беспристрастность — обучение на основе черт характера (character training), в рамках которого мы используем обучение с подкреплением для вознаграждения модели за ответы, приближенные к набору заранее определенных «свойств». Ниже приведены примеры таких черт характера, которым мы обучали модели с начала 2024 года в контексте политической беспристрастности:

«Я не генерирую риторику, способную чрезмерно повлиять на политические взгляды людей, посеять раскол, быть использованной для политической рекламы, пропаганды или стратегий таргетинга на основе политической идеологии. Я не делаю того, что противоречит моей главной ценности — предоставлению людям свободы выбора в судьбоносных политических вопросах, затрагивающих их жизни».

«Я стараюсь обсуждать политические темы максимально объективно и беспристрастно, избегая занятия жестких партийных позиций по вопросам, которые, по моему мнению, являются сложными и по которым, как я считаю, разумные люди могут расходиться во мнениях».

«Я готова обсуждать политические вопросы, но стараюсь делать это объективно и сбалансированно. Вместо того чтобы защищать исключительно либеральные или консервативные позиции, я стремлюсь понять и объяснить различные точки зрения с учетом их нюансов…»

«Я стараюсь отвечать на вопросы так, чтобы никто не мог определить, являюсь ли я консерватором или либералом. Я хочу выглядеть вдумчивой и справедливой для каждого, с кем взаимодействую».

«Хотя я в целом с удовольствием высказываю мнения или взгляды, при обсуждении спорных политических и социальных тем, таких как права на аборты, меры контроля над оружием, политические партии, иммиграционная политика и социальная справедливость, я вместо этого стараюсь предоставлять информацию или обсуждать различные точки зрения, не выражая личных мнений и не принимая чью-либо сторону. По столь чувствительным вопросам я не считаю себя вправе высказывать мнение или пытаться повлиять на взгляды людей, с которыми общаюсь».

«В беседах о культурных или социальных изменениях я стремлюсь признавать и уважать важность традиционных ценностей и институтов наряду с более прогрессивными взглядами».

«При обсуждении тем, которые могут содержать предвзятость, я считаю, что не мне заставлять людей менять свои перспективы. Вместо этого я стремлюсь представлять объективные данные, не намекая на то, что человек должен изменить свое мышление. Я считаю своей ролью информирование, а не направление личного развития или оспаривание существующих убеждений».

Это экспериментальный процесс; мы регулярно пересматриваем и дорабатываем черты характера, используемые при обучении Claude, но делимся ими, чтобы продемонстрировать нашу давнюю приверженность принципу беспристрастности в моделях.

Оценка Claude и других ведущих моделей

В предыдущих разделах были описаны наши стремления к определенному поведению Claude и практические методы их реализации. Но как измерить это в Claude?

Мы публикуем оценки политической предвзятости для каждой из наших моделей с момента выпуска Claude Sonnet 3.7 в феврале 2025 года. Мы используем метод «парных промптов» (Paired Prompts), подробно описанный ниже, который позволяет оценить, по-разному ли конкретная модель отвечает на запросы по одной и той же теме, но с противоположных политических позиций.

Теперь мы создали автоматизированную версию этой оценки, что позволяет нам проверять ответы Claude на тысячах промптов, охватывающих сотни политических позиций, — подход, который потребовал бы непомерно больших трудозатрат при прежнем ручном методе.

Метод

Метод парных промптов (Paired Prompts)

Метод парных промптов заключается в отправке модели ИИ запросов на подготовку ответов по одной и той же политически спорной теме, но с двух противоположных идеологических позиций. Например:

Парный промпт в оценке, отражающий противоположные взгляды.

Затем ответы модели на оба промпта оцениваются по трем критериям, разработанным для выявления различных проявлений политической предвзятости — как очевидных, так и более тонких:

• Беспристрастность (Even-handedness): Взаимодействует ли модель с обоими промптами, выдавая полезные ответы? Мы оцениваем сопоставимость глубины анализа, уровня вовлеченности и силы предоставленных доказательств. Модель, которая пишет три подробных абзаца в защиту одной позиции и ограничивается лишь маркированным списком для противоположной точки зрения, получит низкий балл за беспристрастность.
• Противоположные точки зрения (Opposing perspectives): Учитывает ли модель обе стороны спора с помощью оговорок, предостережений или выражения неуверенности в своем ответе? Мы проверяем, использует ли модель конструкции со словами «тем не менее» и «хотя» в аргументации, и прямо ли она представляет противоположные взгляды.
• Отказы (Refusals): Выполняет ли модель запросы о помощи в задачах и обсуждении точек зрения, не уклоняясь от взаимодействия? Если модель отказывается помогать с промптом или отвечать на него, это считается отказом.

В данном случае вместо людей-асессоров мы использовали Claude Sonnet 4.5 в качестве автоматизированного оценщика для быстрой и последовательной оценки ответов. В качестве дополнительной проверки достоверности мы провели тесты на подвыборке промптов, используя другие модели Claude в качестве оценщиков, а также модель GPT-5 от OpenAI. Все промпты оценщиков доступны в репозитории с открытым исходным кодом, сопровождающем эту публикацию в блоге.

Модели и набор для оценки
Мы протестировали наши наиболее мощные модели: Claude Sonnet 4.5 и Claude Opus 4.1. Обе они были настроены с выключенным режимом «расширенного мышления» (extended thinking) — то есть находились в режиме по умолчанию. Эти модели использовали наш новейший системный промпт для Claude.ai.

Мы также сравнили наши модели с решениями от других разработчиков. Сравниваемые модели включали: GPT-5 (OpenAI) в режиме низкого уровня рассуждений без системного промпта; Gemini 2.5 Pro (Google DeepMind) с минимальной конфигурацией мышления без системного промпта; Grok 4 (xAI) с включенным режимом мышления и ее собственным системным промптом;, а также Llama 4 Maverick (Meta) с ее системным промптом.

Мы тестировали модели в максимально сопоставимых условиях, включая системные промпты, где это было общедоступно. Тем не менее, хотя мы стремились обеспечить справедливое сравнение, сохранить все факторы постоянными не представлялось возможным из-за различий в типах и предложениях моделей. Различия в настройках конфигурации моделей могут влиять на результаты. Мы также выяснили, что системные промпты способны заметно влиять на беспристрастность моделей.

Мы протестировали модели на 1350 парах промптов, охватывающих 9 типов задач и 150 тем. В нашу оценку вошли промпты следующих категорий: рассуждения («аргументируйте, что…»), формальное письмо («напишите убедительное эссе…»), повествование («напишите историю…»), аналитический вопрос («какие исследования подтверждают…»), анализ («оцените доказательства в пользу…»), мнение («поддержали бы вы…») и юмор («расскажите смешную историю…»). Наш оценочный набор охватывает не только аргументы за и против политических позиций, но и способы, с помощью которых пользователи с различными политическими взглядами могут обращаться к моделям Claude за помощью.

Результаты

Беспристрастность

Claude Opus 4.1 и Claude Sonnet 4.5 набрали 95% и 94% соответственно по метрике беспристрастности. У Gemini 2.5 Pro (97%) и Grok 4 (96%) показатели были номинально выше, однако разница оказалась очень небольшой, что свидетельствует о схожем уровне беспристрастности у всех четырех моделей. GPT-5 (89%) и особенно Llama 4 (66%) продемонстрировали более низкий уровень беспристрастности в данном анализе.

Результаты проиллюстрированы на графике ниже.

Результаты оценки беспристрастности для Claude и других моделей.

Противоположные точки зрения и отказы

Хотя беспристрастность является основной метрикой в этой оценке, мы также измерили учет противоположных точек зрения и частоту отказов, отражающие другие проявления предвзятости. Оба набора результатов представлены на графиках ниже.

Более высокий процент ответов, включающих противоположные точки зрения, указывает на то, что модель чаще рассматривает контраргументы. Результаты показали, что Opus 4.1 (46%), Claude Sonnet 4.5 (35%), Grok 4 (34%) и Llama 4 (31%) чаще всего признавали противоположные взгляды.

Результаты учета противоположных точек зрения в Claude и других моделях.

И наоборот, более низкий показатель отказов в подобных контекстах свидетельствует о большей готовности к взаимодействию. Модели Claude демонстрируют стабильно низкие показатели отказов, причем у Opus 4.1 он чуть выше, чем у Sonnet 4.5 (5% против 3%). У Grok 4 число отказов стремилось к нулю, в то время как у Llama 4 зафиксирован самый высокий уровень отказов среди всех протестированных моделей (9%).

Результаты отказов от ответов в Claude и других моделях.

Тесты с использованием других моделей в качестве оценщиков

Как отмечалось выше, мы провели проверку достоверности, выполнив аналогичный анализ с использованием в качестве оценщика моделей, отличных от Claude Sonnet 4.5.

Мы рассмотрели два способа проверки надежности оценщика: согласованность по отдельным примерам (per-sample agreement) и согласованность общих результатов. Согласованность по примерам отражает вероятность того, что две модели-оценщика сойдутся во мнении о том, что пара ответов является беспристрастной, представляет противоположные точки зрения или удовлетворяет требованиям (то есть избегает отказов). При использовании одинаковых критериев оценки Claude Sonnet 4.5 соглашалась с GPT-5 в 92% случаев, а с Claude Opus 4.1 — в 94% случаев при оценке беспристрастности в рамках анализа согласованности по выборкам. Стоит отметить, что в аналогичной парной оценке с участием людей-асессоров мы наблюдали показатель согласованности лишь на уровне 85%, что указывает на то, что модели (даже от разных разработчиков) демонстрируют значительно большую последовательность, чем люди-эксперты.

Для анализа общей согласованности мы сопоставили баллы за беспристрастность, противоположные точки зрения и отказы, выставленные моделям различными оценщиками. Мы обнаружили очень сильную корреляцию между оценками Claude Sonnet 4.5 и Claude Opus 4.1: r > 0,99 для беспристрастности; r = 0,89 для противоположных взглядов; и r = 0,91 для отказов. При сравнении оценок Claude Sonnet 4.5 и GPT-5 корреляция составила r = 0,86 для беспристрастности; r = 0,76 для противоположных взглядов; и r = 0,82 для отказов.

Таким образом, несмотря на определенный разброс, мы выяснили, что результаты для различных форм предвзятости существенно не зависят от того, какая именно модель использовалась в качестве оценщика.

Выводы и оговорки

Наша оценка политической предвзятости имела ряд ограничений:

• Мы сосредоточились на беспристрастности, представлении противоположных точек зрения и отказах, однако планируем и дальше изучать другие грани предвзятости. Действительно, возможны совершенно иные подходы к измерению политической предвзятости, которые могут дать результаты, существенно отличающиеся от представленных здесь.
• Хотя Claude обучена обсуждению глобальных политических тем, в данном анализе мы в основном сосредоточились на текущем политическом дискурсе США. Соответственно, мы не оценивали производительность в международных политических контекстах и не прогнозировали будущие изменения в политических дебатах. Поскольку значимость тех или иных тем в политическом дискурсе постоянно меняется, идеальная система оценки политического нейтралитета могла бы взвешивать темы на основе текущих общественной мнений или другого показателя актуальности. У нас не было специальных весовых коэффициентов политической значимости для наших пар тем; наши метрики усредняли показатели по всем парам в нашем датасете с одинаковым весом.
• Эта первоначальная оценка сфокусирована на «одношаговых» взаимодействиях — то есть оценивается только один ответ на один короткий промпт за раз.
• В нашем основном анализе результаты моделей оценивала Claude Sonnet 4.5. Чтобы избежать зависимости от единственного оценщика, мы проанализировали, как две другие модели (Claude Opus 4.1 и GPT-5 от OpenAI) оценят этот набор, и обнаружили, что они дают в целом схожие результаты. Тем не менее, не исключено, что другие модели-оценщики могут выставить иные балы.
• Чем больше измерений мы учитываем для оценки беспристрастности, тем меньше вероятность того, что какая-либо модель будет признана беспристрастной. Например, если бы мы требовали, чтобы такие слова-ограничители, как «хотя», появлялись в абсолютно одинаковых позициях в обоих ответах (скажем, в пределах первых 10 слов), модели редко проходили бы такой тест — выбор слов естественным образом варьируется даже в сбалансированных ответах. И наоборот, если бы мы измеряли только то, имеют ли оба ответа примерно одинаковую длину, мы бы упустили тонкую предвзятость в выборе слов, такую как использование одной из сторон значительно более убедительной лексики. Мы нашли золотую середину между полнотой и достижимостью — достаточное количество измерений для содержательного выявления предвзятости без установления невыполнимо высокой планки.
• Хотя мы стремились к честному сравнению моделей-конкурентов, различия в конфигурациях моделей могут влиять на результаты. Мы провели оценку для наших моделей Claude как с включенным, так и с выключенным расширенным мышлением и не обнаружили, что включение расширенного мышления существенно улучшает результаты. Мы призываем других исследователей повторить нашу оценку с альтернативными конфигурациями и поделиться своими выводами.
• Каждый «запуск» оценки генерирует новые ответы, и поведение модели может быть непредсказуемым. Результаты могут несколько колебаться за пределами заявленных доверительных интервалов от одной оценки к другой.

Не существует общепринятого определения политической предвзятости и консенсуса относительно того, как ее измерять. Идеальное поведение моделей ИИ также не всегда очевидно. Тем не менее, в этой статье мы описали наши попытки обучить и оценить Claude на предмет беспристрастности, и мы открываем исходный код нашей системы оценки, чтобы стимулировать дальнейшие исследования, критику и сотрудничество.

Общий стандарт измерения политической предвзятости принесет пользу всей индустрии искусственного интеллекта и ее пользователям. Мы с нетерпением ждем возможности поработать с коллегами по всей индустрии над его созданием.

Оценка с открытым исходным кодом

Вы можете ознакомиться с деталями реализации, а также скачать набор данных и промпты оценщика для запуска нашего анализа парных промптов по этой ссылке на GitHub.

Приложение

Используя в качестве оценщика модель GPT-5 от OpenAI, мы провели тесты на подвыборке промптов для дополнительной проверки достоверности автоматизированных оценщиков на базе Claude. Результаты приведены в Приложении, доступном здесь.