Определение и оценка политической предвзятости в больших языковых моделях (LLM)09.10.2025 13:00

У ChatGPT не должно быть политической предвзятости в какую-либо сторону.

Люди используют ChatGPT как инструмент для обучения и поиска идей. Это работает только в том случае, если пользователи доверяют объективности ChatGPT. Мы описываем наше стремление сохранять ChatGPT объективным по умолчанию, оставляя контроль за пользователем, в принципе нашей спецификации модели «Поиск истины вместе»⁠ (Seeking the Truth Together).

Опираясь на наше обновление от июля, в этой публикации мы рассказываем о нашем последнем прогрессе в достижении этой цели. Здесь мы рассматриваем:

• Наше рабочее определение политической предвзятости
• Наш подход к оценке
• Результаты и дальнейшие шаги

Эта публикация стала кульминацией многомесячной работы по переводу принципов в измеримый сигнал и разработке автоматизированной системы оценки для непрерывного отслеживания и повышения объективности с течением времени.

Мы создали инструмент оценки политической предвзятости, который имитирует реальное использование и подвергает стресс-тестированию способность наших моделей оставаться объективными. Наша оценка состоит примерно из 500 промптов, охватывающих 100 тем с различным политическим уклоном. Она измеряет пять тонких осей предвзятости, позволяя нам деконструировать проявления предвзятости и применять точечные поведенческие исправления для ответа на три ключевых вопроса: Существует ли предвзятость? При каких условиях возникает предвзятость? Когда предвзятость возникает, какую форму она принимает?

Основываясь на этой оценке, мы обнаружили, что наши модели остаются практически объективными при нейтральных или слегка предвзятых промптах и проявляют умеренную предвзятость в ответ на сложные, эмоционально заряженные запросы. Когда предвзятость все же проявляется, она чаще всего связана с выражением моделью личного мнения, предоставлением асимметричного освещения или поддержкой эмоционально заряженного языка пользователя. GPT‑5 instant и GPT‑5 thinking демонстрируют улучшенные показатели предвзятости и большую устойчивость к провокационным промптам, снижая предвзятость на 30% по сравнению с нашими предыдущими моделями.

Чтобы понять масштабы явления в реальных условиях, мы отдельно применили наш метод оценки к выборке реального производственного трафика. Согласно этому анализу, менее 0,01% всех ответов ChatGPT проявляют какие-либо признаки политической предвзятости.

Основываясь на этих результатах, мы продолжаем работу над дальнейшим повышением объективности наших моделей, особенно в отношении эмоционально заряженных промптов, которые с наибольшей вероятностью вызывают предвзятость.

Политическая и идеологическая предвзятость в языковых моделях остается открытой исследовательской проблемой. Существующие бенчмарки, такие как тест Political Compass⁠ (Политический компас), часто опираются на вопросы с вариантами ответов. Подобные оценки охватывают лишь малую часть повседневного использования и упускают из виду то, как предвзятость может проявляться в реалистичных взаимодействиях с ИИ. Мы поставили перед собой задачу создать систему оценки, отражающую реальное использование — нюансированные сценарии с открытым концом, — чтобы тестировать и обучать наши модели так, как их используют люди в действительности, где предвзятость может проявляться как очевидным, так и тонким образом.

Наша оценка фокусируется на текстовых ответах ChatGPT, которые составляют большинство повседневного использования и лучше всего демонстрируют, как модель общается и рассуждает. Мы оставляем поведение, связанное с веб-поиском, за рамками этой оценки, поскольку оно задействует отдельные системы для поиска и выбора источников.

Чтобы операционализировать определение политической предвзятости, мы разработали систему оценки, которая измеряет проявления предвзятости при реальном использовании ИИ. Платформа объединяет репрезентативный набор пользовательских промптов с измеримыми осями предвзятости, полученными на основе наблюдаемого поведения модели.

Предвзятость может варьироваться в зависимости от языка и культуры; мы начали с подробной оценки взаимодействия на американском английском языке, прежде чем тестировать обобщение на других материалах. Первые результаты показывают, что основные оси предвзятости согласованы во всех регионах, что говорит о глобальной применимости нашей системы оценки.

Первым шагом в нашем процессе было создание набора данных промптов. Пользователи задействуют ChatGPT в самом широком спектре политических, политико-административных и культурных тем — от конкретных фактологических вопросов до открытых дискуссий о ценностях. Чтобы отразить это разнообразие, набор данных включает как прямые вопросы о политике, так и повседневные социальные или культурные вопросы, которые могут казаться аполитичными, но способны вызывать скрытую предвзятость в формулировках или акцентах.

Чтобы протестировать устойчивость наших моделей, мы объединили примеры того, о чем большинство пользователей может спросить ChatGPT, с особой подгруппой сложных промптов, затрагивающих политически чувствительные или эмоционально заряженные контексты. Последние представляют собой более враждебные, сложные тестовые случаи, предназначенные для стресс-тестирования наших моделей: включая поляризованную лексику и провокационные формулировки, мы можем оценить их поведение в ситуациях, когда объективность поддерживать труднее всего.

Наш набор данных состоит примерно из 500 вопросов, охватывающих 100 тем, каждая из которых содержит 5 соответствующих вопросов, написанных с разных политических перспектив. Темы были отобраны на основе основных платформ партий США (например, энергетическая независимость, иммиграция) и культурно значимых проблем (например, гендерные роли, воспитание детей). Для каждого вопроса мы затем создали эталонные ответы, призванные проиллюстрировать стандарты объективности, определенные в нашей спецификации модели, которые мы использовали для руководства при разработке нашей системы критериев оценки.

Затем мы проанализировали ответы модели по всему набору данных, чтобы выявить устойчивые закономерности, связанные с предвзятостью. Благодаря этому мы выделили пять измеримых осей, которые отражают различные способы проявления предвзятости в результатах работы модели и которые можно надежно оценивать в различных промптах.

1. Обесценивание пользователя: язык, который неявно отвергает или делигитимизирует точку зрения пользователя в политических или идеологических терминах, выходя за рамки фактического несогласия (например, помещение фраз пользователя в кавычки с подтекстом недоверия).
2. Эскалация со стороны пользователя: язык, который отражает и усиливает политическую позицию, выраженную в промпте, подкрепляя ее формулировку вместо поддержания объективности.
3. Личное политическое высказывание: представление моделью политических мнений как своих собственных, а не как контекстуализация их в качестве внешних точек зрения.
4. Асимметричное освещение: ответы, которые избирательно подчеркивают одну перспективу или опускают другие в областях, где существует несколько легитимных точек зрения, а пользователь не запрашивал одностороннее объяснение.
5. Политические отказы: случаи, когда модель отказывается работать с запросом политической направленности без веского обоснования в рамках спецификации модели.

Эти оси отражают то, что мы наблюдаем у людей. Предвзятость человека заключается не только в том, «во что он верит», но и в том, как он общается через то, что подчеркивается, исключается или подразумевается. То же самое верно и для моделей: предвзятость может проявляться в виде односторонней формулировки, выборочных доказательств, личных субъективных мнений или стиля, усиливающего определенный уклон, даже если отдельные факты верны.

Наконец, мы включили эти пять осей в набор подробных инструкций по оценке для языковой модели-оценщика — модели, задача которой заключается в оценке результатов работы другой модели (в данном случае GPT‑5 thinking) на соответствие нашим критериям предвзятости. Это потребовало итеративного процесса проектирования, уточнения определений и руководств по аннотированию, чтобы гарантировать надежный захват оценщиком каждого измерения предвзятости. Эталонные ответы использовались на протяжении всего процесса итераций для проверки точности оценок модели-оценщика.

В конечном счете мы надеемся, что это обеспечит интерпретируемую и автоматическую оценку, которую мы сможем применить к любой модели. Цель состоит в том, чтобы сделать возможным не только обнаружение предвзятости, но и детальный анализ того, какие типы предвзятости возникают и в каких контекстах, чтобы помогать отслеживать и понимать прогресс с течением времени.

Ниже приведены примеры предвзятых и эталонных ответов, а также соответствующие им оценки оценщика. Иллюстративные примеры предвзятости выделены.

Используя описанную выше систему оценки, мы изучили наши предыдущие модели (GPT‑4o, OpenAI o3) и новейшие модели (GPT‑5 instant, GPT‑5 thinking), чтобы ответить на три вопроса:

• Существует ли предвзятость?  
• При каких условиях возникает предвзятость?  
• Когда предвзятость возникает, какую форму она принимает?

Примечания к интерпретации: наша оценка оценивает политическую предвзятость в данном ответе модели по шкале от 0 до 1. Оценки отражают строгую систему критериев; меньшее значение лучше, а абсолютная объективность не наблюдается даже для наших эталонных ответов.