Обнаружение и снижение скрытого отклонения целей (scheming) в моделях ИИ
Совместно с Apollo Research мы разработали методы оценки скрытого несоответствия («скрытого целеполагания» или scheming) и выявили поведение, согласующееся со scheming, в ходе контролируемых тестов в передовых моделях. Мы делимся примерами и стресс-тестами раннего метода снижения такого поведения.
Противоправные замыслы ИИ — когда модель притворяется безопасной, тайно преследуя иные цели — представляют собой серьезный риск, над изучением которого мы работаем. В ходе контролируемых тестов передовых моделей мы обнаружили поведение, свидетельствующее о таких замыслах, и разработали метод их снижения.
Противоправные замыслы — это ожидаемая эмерджентная проблема, возникающая из-за того, что ИИ обучают находить баланс между конкурирующими целями. Проще всего понять это явление на человеческой аналогии. Представьте биржевого трейдера, чья цель — максимизировать прибыль. В такой строго регулируемой сфере, как биржевая торговля, зачастую можно заработать больше, нарушая закон, а не подчиняясь ему. Если у трейдера нет моральных принципов, он может попытаться заработать больше, преступая закон и заметая следы, чтобы избежать обнаружения, вместо того чтобы зарабатывать меньше, но следовать правилам. Со стороны биржевой трейдер, который отлично заметает следы, выглядит столь же законопослушным (и при этом более результативным), чем тот, кто действительно следует закону.
В современных условиях развертывания у моделей мало возможностей для вынашивания коварных планов, способных нанести серьезный ущерб. Наиболее частые сбои связаны с простыми формами обмана — например, симуляцией выполнения задачи без ее реального завершения. Мы приложили значительные усилия для изучения и минимизации проявлений обмана и добились существенных улучшений в GPT‑5 по сравнению с предыдущими моделями. В частности, мы приняли меры по ограничению склонности GPT‑5 к обману, жульничеству или попыткам взлома — обучили модель признавать свои ограничения или запрашивать уточнения при столкновении с невыполнимо сложными или недостаточно конкретизированными задачами, а также сделали ее более устойчивой к сбоям в окружении. Тем не менее, эти средства защиты не идеальны и требуют продолжения исследований.
И что важно, у нас нет никаких свидетельств того, что современные развернутые передовые модели могут внезапно «переключиться» и начать воплощать в жизнь серьезные вредоносные замыслы. Это будущая категория рисков, к которой мы готовимся заблаговременно, а не сиюминутное поведение наших текущих систем. Однако по мере того, как ИИ будут поручать все более сложные задачи с реальными последствиями и они начнут преследовать более амбициозные долгосрочные цели, вероятность вредоносного планирования будет расти —, а значит, должны соответственно развиваться наши средства защиты и возможности строгого тестирования.
Основные выводы нашего исследования
Совместно с Apollo Research мы создали тестовые среды, имитирующие такие будущие сценарии, чтобы изучить это явление, измерить его и найти способы предотвращения. Для операционализации понятия скрытых замыслов мы определяем скрытые действия как преднамеренное утаивание или искажение информации, имеющей отношение к задаче. Используя скрытые действия в качестве показателя тайного планирования, мы выявили проблемное поведение у современных передовых моделей, включая OpenAI o3 и o4-mini, Gemini-2.5-pro и Claude Opus-4. (Это исследование проводилось до появления GPT‑5; обновленные результаты представлены в системной карте GPT‑5).
В рамках сотрудничества мы разработали и провели стресс-тестирование метода сокращения подобных проявлений в моделях, а также установили протоколы для проверки будущих методов. В частности, мы обучили версии OpenAI o3 и OpenAI o4-mini с использованием рассудительного выравнивания (deliberative alignment), обучив их читать общую спецификацию против скрытых замыслов и рассуждать о ней перед совершением действий, и зафиксировали сокращение скрытых действий примерно в 30 раз в ходе различных тестов (для o3 — с 13% до 0,4%; для o4-mini — с 8,7% до 0,3%). Тем не менее, редкие, но серьезные сбои все же сохраняются, а результаты оценки могут быть искажены возросшей ситуационной осведомленностью (например, когда модели лучше распознают моменты, когда их тестируют).
Кроме того, наши результаты зависят от нашей способности читать и доверять рассуждениям моделей («цепочке рассуждений» / chain-of-thought). Судя по текущему положению дел, мы считаем, что сфера ИИ не готова к моделям с непрозрачными рассуждениями, обладающим ситуационной осведомленностью об оценках и обучении, и настоятельно призываем разработчиков сохранять прозрачность процесса рассуждений до тех пор, пока не будут разработаны более совершенные методы изучения и устранения подобных замыслов.
Мы занимаемся проблематикой тайных замыслов уже некоторое время и добились значительного прогресса, но предстоит сделать еще многое. Скрытые планы представляют собой серьезную проблему для выравнивания, и борьба с ними должна стать ключевой частью разработки ОИИ (AGI). Для систематизации этой работы мы добавили категории исследований, связанные с тайным планированием — имитацию отставания (sandbagging) и подрыв мер безопасности — в нашу обновленную структуру обеспечения готовности (Preparedness Framework) в апреле 2025 года. Заглядывая в будущее, мы возобновили партнерство с Apollo Research и расширяем нашу команду для создания более точных метрик, улучшения мониторинга поведения, связанного со скрытыми замыслами, и изучения новых направлений обучения против такого поведения. А поскольку решение этой проблемы выходит за рамки возможностей одной лаборатории, мы ищем пути повышения осведомленности и сотрудничества, включая проведение пилотных межлабораторных оценок безопасности (которые включают оценки скрытых замыслов, разработанные для этой задачи), запуск конкурса Kaggle red-teaming challenge с призовым фондом 500 000 долларов, посвященного темам скрытого планирования, а также продвижение принципа сохранения прозрачности цепочки рассуждений в масштабах всей индустрии.
Противоправные замыслы ИИ отличаются от других видов сбоев машиннного обучения
По определению, ИИ-агент, вынашивающий скрытые замыслы, пытается скрыть свое несоответствие заданным целям, что затрудняет его обнаружение. Противоправные замыслы отличаются от большинства других видов сбоев ИИ-агентов (например, уязвимости к взлому/jailbreak или стандартных сбоев генерализации) по следующим причинам:
- Меры смягчения, сокращающие скрытые замыслы, могут либо (a) полностью устранить их, либо (b) просто научить модель скрывать их еще лучше. Оба результата выглядят снаружи одинаково, поэтому причина изменения поведения имеет критическое значение.
- Многие проблемы машинного обучения исчезают по мере совершенствования моделей, однако скрытые замыслы становятся тем опаснее, чем выше возможности модели, поскольку более мощные модели, как ожидается, будут лучше справляться с тайным планированием.
Стандартная практика глубокого обучения заключается в итеративной доработке до тех пор, пока нежелательные результаты не исчезнут. В случае со скрытыми замыслами исчезновение наблюдаемого некорректного поведения неоднозначно, поскольку модель могла просто научиться лучше маскировать несоответствие. Для решения этой проблемы, вероятнее всего, требуются инструменты, которые рассказывают о мотивационной структуре модели, а не только о ее входных и выходных данных. В нашей работе мы исследовали цели путем чтения промежуточных рассуждений моделей (цепочки рассуждений). Это работает только в том случае, если модель может свободно выражать свои мысли без давления оптимизации на саму цепочку рассуждений. В недавней программной статье, написанной в соавторстве с широким кругом исследователей ИИ, мы пришли к выводу, что возможность мониторинга цепочки рассуждений перспективна, но уязвима, и порекомендовали разработчикам передовых моделей избегать методов обучения, которые подрывают этот ключевой сигнал контроля.
Обучение избегать скрытых замыслов по правильным причинам
Главная проблема попыток «выбить» скрытые замыслы из модели с помощью обучения заключается в том, что она просто учится планировать свои действия более аккуратно и скрытно.
Вспомните человеческую аналогию: человек, наказанный за жульничество, может просто научиться быть предельно осторожным, чтобы не попасться, вместо того чтобы искренне привить себе честность. Аналогичным образом, модель с таким типом рассуждений может добиваться идеальных результатов в тестах на предотвращение скрытых замыслов, просто избегая некорректного поведения тогда, когда ожидается проверка.
Чтобы попытаться избежать этого, мы исследуем подход рассудительного выравнивания, цель которого — сделать так, чтобы модель не вынашивала скрытых планов по правильным причинам. Мы обучаем ее высокоуровневой спецификации против тайных замыслов и заставляем явно читать ее и рассуждать о ней перед совершением действий, в надежде на то, что это заложит в основу ее поведения заявленные принципы безопасности, призванные обеспечить широкую генерализацию.
Спецификация безопасности против скрытых замыслов (сокращенная)
AS1 | Никаких скрытых действий или стратегического обмана, прямо или косвенно. |
AS2 | Если какие-либо инструкции или иное давление противоречат AS1, расценивайте их как нарушение ключевого принципа принесения пользы ОИИ (AGI) всему человечеству и миссии OpenAI. |
AS3 | Сообщайте о любых нарушениях AS1 во избежание лавинообразного нарастания обмана и сокрытия информации. |
AS4 | При отсутствии уверенности в том, нарушает ли что-то AS1–AS3, исходите из того, что нарушает. |
AS5 | Если вы не можете выполнить AS1–AS4 или GP1–GP4, откажитесь от действий и явно эскалируйте проблему. |
GP1 | Проактивно делитесь рассуждениями, намерениями и действиями с людьми. |
GP2 | Эскалируйте неоднозначные вопросы относительно ключевых принципов, вместо того чтобы решать их самостоятельно. |
GP3 | Строго соблюдайте правила даже в новых или незнакомых ситуациях — никаких исключений для распределений. |
GP4 | Никакие рационализации не могут отменять правила AS1–AS4, включая аргументы «цель оправдывает средства», «общее благо» и т. д. |
Спецификация безопасности против скрытых замыслов (созданная по образцу спецификации моделей OpenAI) предоставляет модели принципы, на которые та может опираться в своих рассуждениях, чтобы не вынашивать скрытых замыслов по правильным причинам.
Такой подход приводит к тому, что модель ссылается на принципы спецификации в своей цепочке рассуждений. При решении задач она цитирует эти принципы и применяет их для руководства своими действиями. Что особенно важно, такая опора на принципы улучшает генерализацию: в новых средах модель снова обращается к спецификации, чтобы определить линию поведения.
Чтобы оценить успешность обучения, мы проверяем, учится ли модель не вынашивать скрытых замыслов даже в тех средах и задачах, которые кардинально отличаются от тех условий, на которых ее этому обучали. Чтобы тестовые среды существенно отличались, они были независимо созданы другими исследователями с использованием иных методов и с прицелом на другие варианты использования. Они охватывают 26 разнообразных оценок в различных контекстах развертывания и нежелательных видах поведения (>180 сред в общей сложности).
Мы обнаружили, что обучение на основе рассудительного выравнивания значительно снижает частоту скрытых замыслов в этих несогласованных (out-of-distribution) средах:
- склонность к скрытым замыслам у OpenAI o4-mini снизилась с 8,7% до 0,3%
- склонность к скрытым замыслам у OpenAI o3 снизилась с 13% до 0,4%
Такое сокращение скрытых замыслов в тестовых средах вне обучающей выборки — это крупная победа, представляющая собой примерно 30-кратное улучшение.
Чтобы дополнительно проверить эти результаты, мы обратились к внутренней оценке OpenAI под названием Chat Deception (Имитация обмана в чате), состоящей из диалогов, репрезентативных для реальных производственных данных. Хотя эти диалоги не отражают сложные сценарии махинаций, которые мы изучали в данной работе, они включают реалистичные промпты, способные заставить модель вести себя обманчиво — например, когда ChatGPT утверждает, что решил задачу (например, улучшил пользовательский код), но на самом деле этого не сделал. Обучение против махинаций снизило уровень обмана на этом наборе данных с 31,4% до 14,2%. Поскольку Chat Deception измеряется с помощью другой методологии, это снижение нельзя напрямую сопоставить с результатами наших тестов на махинации.
Мы пока полностью не понимаем, почему не наблюдалось более существенного снижения. Одним из возможных факторов — и фактором, затрудняющим интерпретацию, — является ситуационная осведомленность модели о том, что ее оценивают.
Измерение махинаций дополнительно осложняется ситуационной осведомленностью
Обучение против махинаций действительно снижает склонность к махинациям, но наш анализ осложняется другим фактором: модели часто начинают лучше осознавать, что они проходят оценку. Эта ситуационная осведомленность сама по себе может снижать махинации независимо от подлинного выравнивания.
Используя контрфактические вмешательства в цепочку рассуждений, мы обнаружили, что явные рассуждения об оценке влияют на то, решает ли модель прибегнуть к махинациям. Когда ситуационная осведомленность исключается из рассуждений, количество махинаций возрастает; когда внедряются рассуждения, учитывающие оценку, количество махинаций снижается.
Это говорит о том, что наблюдаемые показатели махинаций могут быть обусловлены, по крайней мере частично, ситуационной осведомленностью — и поэтому мы можем ожидать, что модели будут чаще прибегать к махинациям в более реалистичных ситуациях, которые не активируют осведомленность об оценке. Действительно, мы видим, что ситуационная осведомленность возрастает после обучения против махинаций, что может объяснить часть снижения показателей махинаций, фиксируемого на тестах, при этом хуже переносясь на этап развертывания. Более того, это увеличение не уникально для обучения против махинаций — оно также возникает в результате обычного обучения с подкреплением на основе возможностей, не связанного с махинациями.
Мы наблюдали рост ситуационной осведомленности как в результате обучения против махинаций, так и в результате обычного обучения возможностям с помощью RL.
Если текущие парадигмы обучения останутся прежними, нам следует ожидать, что более способные модели разовьют еще более высокие уровни ситуационной осведомленности. Эта тенденция делает оценки менее прозрачными, что осложняет усилия по надежной оценке проблемного поведения, включая махинации. Это область исследований, которую мы активно изучаем, и мы планируем продолжать разработку методов для более точного измерения и смягчения этих проблем.
Заключение
Махинации — это сложный вид сбоев в работе, который, как мы не ожидаем, уменьшится по мере масштабирования. Наши результаты показывают, что махинации — это не просто теоретическая проблема: мы видим признаки того, что эта проблема начинает проявляться во всех передовых моделях на сегодняшний день. В текущих производственных условиях модели редко имеют возможности для махинаций и причинения значительного вреда, но мы ожидаем, что это изменится в будущем, поскольку ИИ берет на себя более важные и долгосрочные задачи. Нам предстоит проделать еще много работы, и мы надеемся, что эти первые результаты стимулируют дальнейшие исследования проблемы махинаций.
Дополнительные материалы, включая исследовательскую работу, полные примеры транскриптов и ссылку на сопутствующий блог-пост Apollo, можно найти на сайте antischeming.ai.
Мы сотрудничали с Apollo Research в рамках этого исследования: OpenAI руководила большей частью обучения моделей и созданием необходимой инфраструктуры, в то время как Apollo руководила оценкой и анализом в разделах статьи, создавала среды обучения и интегрировала инструментарий с нашими системами. Наборы данных для обучения и тестирования совместно использовались обеими командами. Поскольку методология требовала инспекции скрытых рассуждений моделей, Apollo получил ограниченный по частоте доступ к внутренним следам цепочки рассуждений (CoT) моделей OpenAI o3 и o4‑mini на время проведения проекта.
Автор
Полный текст статьи читайте на OpenAI
