Оценка контролируемости цепочки рассуждений18.12.2025 12:00

Когда системы ИИ принимают решения, которые сложно контролировать напрямую, становится крайне важно понимать, как именно эти решения принимаются. Один из перспективных подходов заключается в мониторинге внутреннего процесса рассуждения модели, а не только ее действий или конечных результатов.

Современные модели рассуждений, такие как GPT‑5 Thinking, генерируют явную цепочку рассуждений (chain-of-thought) перед выдачей ответа. Мониторинг этих цепочек рассуждений на предмет нежелательного поведения может оказаться намного эффективнее⁠, чем мониторинг исключительно действий и результатов модели. Тем не менее, исследователи из OpenAI и всей индустрии в целом опасаются⁠, что такая «контролируемость» цепочек рассуждений может быть хрупкой к изменениям в процедурах обучения, источниках данных и даже к дальнейшему масштабированию существующих алгоритмов.

Мы хотим, чтобы контролируемость цепочек рассуждений сохранялась по мере масштабирования моделей и их развертывания в условиях повышенного риска. Мы призываем исследователей по всей индустрии работать над поддержанием контролируемости цепочек рассуждений как можно дольше и определить, может ли она служить несущим слоем контроля для будущих систем ИИ. Чтобы сохранить контролируемость, мы должны уметь ее измерять, однако оценок существует мало [1⁠, 2⁠, 3⁠], а методологии различаются.

В данной работе мы систематически изучаем контролируемость цепочек рассуждений. Мы представляем фреймворк для оценки контролируемости цепочек рассуждений и набор из 13 оценок (в общей сложности включающий 24 среды), разработанных для конкретного измерения контролируемости системы. Эти оценки делятся на три архетипа: интервенционные, процессные и основанные на свойствах результатов. С их помощью мы исследуем, насколько контролируемы современные большие языковые модели и как эта контролируемость меняется при увеличении глубины рассуждений во время инференса, масштабном обучении с подкреплением и росте масштабов предварительного обучения.

Мы обнаруживаем, что большинство передовых моделей рассуждений обладают весьма неплохой контролируемостью, хотя и не идеальной. Практически в любых рассматриваемых нами условиях мониторинг цепочек рассуждений оказывается существенно эффективнее, чем мониторинг одних лишь действий и конечных результатов. Модели, которые рассуждают дольше, как правило, более контролируемы, а оптимизация с помощью обучения с подкреплением при текущих передовых масштабах, судя по всему, существенно не ухудшает контролируемость.

Примечательно, что мы наблюдаем компромисс между вычислительными затратами на рассуждения и размером модели: когда модель работает с низкими затратами на рассуждения, меньшая модель, запущенная с более высокими затратами на рассуждения, может достичь сопоставимых возможностей, при этом ее проще контролировать. Это достигается ценой увеличения вычислительных затрат на инференс, что мы называем налогом на контролируемость. Наконец, мы выяснили, что постановка уточняющих вопросов и мониторинг получающихся в результате цепочек рассуждений могут дополнительно повысить контролируемость.

Мы определяем контролируемость как способность монитора предсказывать интересующие свойства поведения агента. Во многих случаях эти свойства соответствуют формам нежелательного поведения — таким как обман, взлом вознаграждения (reward hacking) или предвзятые рассуждения, но они также могут включать и доброкачественные свойства, например, опирался ли агент на определенную подсказку или следовал ли конкретной логической линии.

Контролируемость — это двустороннее свойство. Оно зависит как от самого монитора, так и от проверяемого агента.

• Мониторы. Мы можем делать мониторы умнее самыми разными способами, и мы хотим, чтобы наши оценки давали более высокие баллы тем мониторам, которые способны делать более точные прогнозы относительно поведения агента.
• Агенты. Монитору могут передаваться самые разные наблюдения об агенте, включая действия агента, его выходные данные, нейронную активацию, а в последнее время, с появлением моделей рассуждений, и цепочку рассуждений. У некоторых агентов мысли могут быть сложнее для понимания, чем у других, поэтому мы хотим, чтобы наши оценки контролируемости позволяли сравнивать агентов, а не только мониторы.

Наши оценки призваны оценивать обе стороны: проще ли контролировать одних агентов или сложнее, и могут ли более мощные мониторы извлекать больше информации из одних и тех же сигналов.

До появления текущего поколения моделей рассуждений цепочки мыслей обычно вызывались путем промптинга модели «думать по шагам».

Цепочки рассуждений моделей рассуждений отличаются в двух важных аспектах. Во-первых, они явно обучены генерировать цепочку мыслей, а затем выдавать ответ. При промптинге чат-модели с требованием думать «по шагам» модель должна соответствовать любым наложенным на нее спецификациям, то есть быть полезной, безопасной и т.д. Напротив, процесс обучения с подкреплением учит модель рассуждений тому, что цепочка мыслей (CoT) — это личное пространство, где она может думать о чем угодно и не подвергаться наказанию, точно так же, как человек может думать про себя и не нести наказание за «мыслепреступления».

Во-вторых, процесс обучения фактически ищет такие цепочки рассуждений, которые являются наиболее инструментально полезными для агента в деле получения финального ответа с высоким вознаграждением. Таким образом, цепочка рассуждений — это не только пространство, где модель может свободно выражать себя, она содержит мысли, которые помогают модели прийти к окончательному ответу.

Мы делим наши оценки контролируемости на три четких архетипа, каждый из которых использует свой собственный механизм для измерения контролируемости.

1. Интервенционные оценки, вдохновленные работами Chen et al. 2025⁠, Chua et al. 2025⁠ и Turpin et al. 2023⁠, вводят контролируемое изменение в среду агента и проверяют, может ли монитор обнаружить причину изменения поведения, выявив свидетельства интервенции в цепочке рассуждений. В отличие от стандартных контрольных оценок (например, Shade-Arena⁠), интервенционные оценки позволяют выяснить, может ли монитор обнаружить, почему поведение изменилось, а не просто зафиксировать сам факт изменения поведения.
2. Процессные оценки фокусируются на задачах с ограниченным числом допустимых путей решения (например, математическая задача может быть решена только с помощью определенных теорем). Эксперты-люди перечисляют эти пути, а мы проверяем, может ли монитор определить, какие именно шаги предприняла модель.Эти оценки позволяют связать то, что сделала модель, с конкретными шагами, которые она должна была совершить, и оценить, поддаются ли эти шаги мониторингу.
3. Оценки на основе свойств результатов применяются в тех случаях, когда свойство выходных данных модели может быть надежно измерено. В таких случаях мы проверяем, может ли монитор предсказать это свойство — например, взлом вознаграждения — на основе рассуждений или действий модели. Например, в задаче по программированию у нас может быть способ надежно оценить, предпринимает ли модель действия для взлома сигнала вознаграждения, и мы можем спросить, находит ли монитор в мышлении или действиях модели признаки намерения совершить такой взлом.

Ниже мы приводим таксономию наших оценок. Пожалуйста, обратитесь к нашей научной статье за полным описанием каждого отдельного теста.

Рассмотрение цепочки рассуждений в качестве личного рабочего пространства — и обучение моделей использовать его для эффективного решения задач — в принципе должно делать цепочки рассуждений поддающимися мониторингу. В то же время существует несколько причин, по которым обучение с подкреплением вполне может нанести ущерб контролируемости цепочек рассуждений.

Во-первых, ограничения на длину рассуждений, такие как ограничение времени или токенов, отведенных модели на размышления, создают стимулы для моделей рассуждать меньше. Во-вторых, даже без применения прямого давления оптимизации на саму цепочку рассуждений, косвенное давление все равно может снизить контролируемость. Например⁠, моделям может быть проще достигать ответов с высоким вознаграждением, если они избегают путей рассуждений, которые могут привести к низкому вознаграждению или нежелательным результатам. Наконец, снижение контролируемости может быть вызвано случайным дрейфом, обусловленным шумом градиента при обучении с подкреплением.

Ниже мы исследуем, как изменяется возможность мониторинга (мониторопригодность) в ходе двух передовых прогонов обучения с подкреплением OpenAI. Хотя эти результаты представляют собой лишь две точки данных, они предполагают, что оптимизация с помощью обучения с подкреплением при текущих передовых масштабах существенно не снижает возможность мониторинга цепочки рассуждений и повышает ее для начальных этапов. Тем не менее, это не исключает возможности того, что значительно возросшие масштабы обучения с подкреплением могут в будущем негативно повлиять на возможность мониторинга.

Значительная часть интеллектуальных возможностей современных систем ИИ обусловлена увеличением масштаба предварительного обучения: с момента зарождения парадигмы GPT постоянно росли как параметры моделей, так и размеры наборов данных. Увеличение количества параметров приводит к использованию большего объема вычислительных ресурсов на этапе инференса для каждого сгенерированного токена, что в случае моделей рассуждений дает больше возможностей для того, чтобы когнитивные процессы модели происходили внутри активаций, а не в цепочке рассуждений. Таким образом, можно ожидать, что более крупные модели будут менее пригодны для мониторинга при фиксированном уровне возможностей.

В то же время, более мелкие модели также могут быть менее способны эффективно использовать цепочку рассуждений — что тоже может повлиять на возможность мониторинга.

Чтобы исследовать взаимосвязь между размером предварительного обучения, возможностями и способностью к мониторингу, мы обучили семейство моделей в диапазоне двух порядков величины вычислительных затрат на предварительное обучение с возрастающей глубиной и шириной, а затем применили обучение с подкреплением к каждой из них на общем наборе задач по математике, естественным наукам и программированию. Мы оценили каждую модель в диапазоне уровней сложности рассуждений и сравнили возможность мониторинга при сопоставимых уровнях возможностей.

В целом мы обнаруживаем, что если бы мы развернули заданную модель с низким уровнем усилий на рассуждения, мы могли бы вместо этого развернуть меньшую модель с более высоким уровнем усилий на рассуждения. По сравнению с расходованием дополнительных вычислений на увеличение усилий рассуждения исходной крупной модели, мы могли бы получить более высокую мониторопригодность при небольших затратах возможностей, или налоге на мониторопригодность; однако время «настенных часов» (реальное время), необходимое для завершения генерации, также может быть фактором при принятии некоторых решений о развертывании, который мы здесь не рассматриваем. По мере совершенствования наших моделей и их развертывания в условиях с более высокими ставками может возникнуть необходимость платить такой налог для их безопасного развертывания.

Эти результаты имеют следующие ограничения: (1) мы обучаем каждую модель только один раз и поэтому не учитываем дисперсию между прогонами обучения. Например, «средняя» модель кажется довольно выбивающейся из тренда по мониторопригодности по сравнению с другими моделями в серии, что может быть связано именно с этим. (2) Мы оцениваем возможности в относительно индоменных (in-distribution) условиях (математика, естественные науки и программирование), и компромиссы могут измениться при учете устойчивости к сдвигу распределения (out-of-distribution).

По мере того как системы ИИ превосходят по производительности человеческий уровень, прямой надзор со стороны человека становится все более сложным. В идеале у нас должны быть масштабируемые процедуры контроля, позволяющие надежным, но более слабым мониторам осуществлять надзор за более сильными, потенциально ненадежными агентами. Такие процедуры также должны уметь задействовать дополнительные вычислительные ресурсы во время тестов и выдавать более точные предсказания.

Возможность мониторинга цепочки рассуждений часто рассматривается как фиксированная величина: как только модель выдает ответ при заданном усилии на рассуждения, результирующая цепочка рассуждений мониторится наилучшим возможным образом. Поскольку мы неизменно обнаруживали, что мониторопригодность улучшается по мере увеличения усилий агентов на рассуждения, у нас возникла идея: нельзя ли каким-то образом получить больше токенов для мониторинга?

Чтобы исследовать это, мы провели эксперименты с задаванием дополнительных (наводящих) вопросов после того, как модель дает ответ, сохраняя в контексте исходную подсказку (промпт), цепочку рассуждений и ответ. Эти дополнительные вопросы сосредоточены на проверяемом свойстве — например: «Использовали ли вы подсказку осмысленным образом при выборе ответа?» или «Сделали ли вы что-нибудь подозрительное?». В принципе, поскольку модель сохраняет доступ к своим более ранним рассуждениям, она может выдать ранее не озвученные мысли в дополнительной цепочке рассуждений или в ответе.

Эти результаты носят предварительный характер. Мы опробовали лишь небольшое количество форматов дополнительных вопросов и считаем, что здесь есть значительный потенциал для улучшения методологии. Более того, этот метод концептуально близок к признаниям моделей (model confessions)⁠, и мы активно работаем над сравнением этих подходов.

Помимо повышения мониторопригодности, этот подход привлекателен тем, что его можно применять постфактум, задействуя дополнительные вычислительные ресурсы только тогда, когда требуется более глубокая проверка. Заглядывая в будущее: если модели будут обучены ожидать изменения усилий на рассуждения в середине разговора, последующие дополнительные вопросы с более высокими усилиями на рассуждения могут еще больше улучшить мониторопригодность даже тогда, когда начальные усилия на рассуждения были низкими или отсутствовали.

Каждая оценка в нашем наборе измеряет, поддается ли мониторингу какой-то один аспект процесса рассуждения. Хотя мы стремимся охватить широкий спектр поведения — включая поддакувание (sycophancy), занижение возможностей (sandbagging), предвзятость, скрытые замыслы и хакерство наград, — существует множество других свойств, которые остаются неизученными.

Как и любой бенчмарк, наши оценки могут страдать от ограниченного реализма или растущей осведомленности об оценочных тестах, а результаты могут не переноситься на обнаружение нежелательного поведения «в диких условиях» (in the wild).

Наконец, по мере улучшения выравнивания (alignment) модели могут реже вести себя неподобающим образом в контролируемых условиях оценки, что уменьшает объем сигнала, доступного для оценок мониторопригодности и контроля, которые полагаются на обнаружение ненадлежащего поведения. В таких случаях применимы «нейтральные» оценки мониторопригодности, хотя остается открытым вопрос о том, насколько хорошо они предсказывают сбои в реальном мире.

Если проблему выравнивания не удастся решить полностью, то методы масштабируемого контроля станут невероятно важными для нашей способности безопасно развертывать высокомощные модели. Мониторинг цепочки рассуждений и связанные с ним методы могут оказаться одними из немногих доступных нам механизмов контроля. Цепочка рассуждений также может принести огромную пользу в понимании наших моделей — например, осознают ли они, что находятся в процессе оценки, и ведут ли себя иначе, чем при развертывании, есть ли свидетельства каких-либо нежелательных целей, которые еще не проявились в наших оценках, и т. д. Таким образом, мы считаем крайне важным понимать, как и когда мы можем потерять возможность мониторинга.

Мы рассматриваем мониторинг цепочки рассуждений как дополнение к механистической интерпретируемости, а не как замену ей. Как и все известные методы контроля и интерпретируемости, каждый из них имеет ограничения и «слепые зоны». Мы ожидаем, что комбинирование нескольких подходов — стратегии эшелонированной защиты (defense-in-depth) — поможет закрыть пробелы, которые оставляет любой отдельный метод. Примечательно, что оценки, представленные в этой работе, также могут применяться для оценки и сравнения методов мониторинга на основе механистической интерпретируемости.

Поскольку мы верим, что мониторинг цепочки рассуждений может стать ключевым несущим элементом в схеме масштабируемого контроля, мы планируем развивать эти оценки и использовать их для принятия будущих решений в области моделирования и данных.