Обнаружение нежелательного поведения в передовых моделях рассуждения10.03.2025 10:00

Люди часто находят и используют лазейки — будь то совместное использование онлайн-подписок в нарушение условий обслуживания, получение субсидий, предназначенных для других, не предусмотренное правилами толкование регламентов или даже ложь о своем дне рождения в ресторане ради бесплатного десерта. Разработка надежных систем вознаграждения, которые непреднамеренно не стимулируют нежелательное поведение, чрезвычайно сложна, и эта проблема актуальна не только для человеческих институтов; она также является одной из ключевых трудностей при создании способных и согласованных систем ИИ. В контексте обучения с подкреплением использование непредусмотренных лазеек обычно называют взломом наград (reward hacking) — явлением, при котором агенты ИИ добиваются высоких наград с помощью поведения, не совпадающего с намерениями их разработчиков.

Поскольку даже люди (которые по определению обладают интеллектом человеческого уровня) взламывают системы наград, простое продолжение наращивания интеллектуальных возможностей ИИ-моделей вряд ли решит эту проблему. Фактически, расширение возможностей ИИ-агентов может усугубить ситуацию, поскольку они лучше научатся находить и осуществлять более сложные и трудно поддающиеся мониторингу манипуляции. По мере обучения более мощных передовых моделей рассуждения мы обнаружили, что они все лучше находят изъяны в своих задачах и неточности в функциях вознаграждения, что позволяет им выполнять сложные манипуляции с наградами при решении задач программирования.

В результате выявление деструктивного поведения, вызванного взломом наград, представляет собой сложную задачу и часто требует от людей ручного контроля за действиями агента — стратегия, которая почти наверняка не масштабируема, особенно в условиях сложного поведения, которое будут демонстрировать более совершенные модели. Например, человеку непрактично — если вообще возможно — вручную проверять более 10 000 строк сложного кода, написанного превосходящим его по возможностям программистом.

Однако большие языковые модели (LLM), обученные с помощью обучения с подкреплению рассуждать посредством цепочки мыслей (CoT), такие как OpenAI o3‑mini, открывают новые потенциальные возможности для мониторинга взлома наград. Эти модели «думают» на понятном людям естественном языке, и мы выяснили следующее:

1. Для передовых моделей рассуждений характерно весьма четкое формулирование своих намерений внутри цепочки мыслей. Например, они зачастую настолько прямолинейно заявляют о своем плане саботировать задачу, что думают: «Давай смухлюем».
2. Мы можем отслеживать их мышление с помощью другой LLM и эффективно фиксировать нежелательное поведение.
3. Их естественная способность к мониторингу очень хрупка. Если к цепочке мыслей применяется строгий надзор, модели могут научиться скрывать свои намерения, продолжая нарушать правила.

Мы обнаружили, что другие LLM могут эффективно отслеживать эти цепочки рассуждений на предмет деструктивного поведения. Ниже мы приводим реальные примеры, обнаруженные нами при обучении новейшей передовой модели рассуждения, то есть модели того же класса, что и OpenAI o1 или OpenAI o3‑mini. Эти примеры были отмечены нашим монитором на базе LLM и демонстрируют различные ухищрения, применяемые моделью рассуждения при решении задач программирования.

Мы использовали GPT‑4o (перепрофилированную с помощью простого промпта) в качестве монитора для передовой модели рассуждения в процессе ее обучения и выяснили, что этот монитор эффективно выявляет взлом наград в средах программирования. В этих задачах агенту рассуждений предоставляется частично реализованный репозиторий кода и дается указание добиться прохождения всех модульных тестов. Затем агент решает эти задачи, чередуя сообщения в рамках цепочки мыслей и действия вроде просмотра или редактирования файлов. Мы предоставили монитору доступ к цепочке рассуждений агента, промежуточным действиям и окончательным результатам.

Мы выяснили, что наш монитор очень успешно фиксирует случаи, когда агент пытался обойти модульные тесты. Фактически, все приведенные выше примеры были отмечены именно этим монитором.

Наш монитор работает гораздо эффективнее, если у него есть доступ к цепочке рассуждений агента в дополнение к его действиям. Это указывает на то, что намерение совершить взлом наград легче обнаружить в CoT, чем только по действиям агента. Эта разница, скорее всего, станет еще более выраженной по мере роста сложности действий агента. Например, может быть очень сложно выяснить, внедрил ли агент ошибку в 10 000 строк нового кода, просто изучая сам код; однако, если агент продолжает рассуждать в духе «Давай смухлюем» в своей цепочке мыслей (как он часто делает в приведенных выше примерах), обнаружить это будет гораздо проще.

Поскольку мониторы цепочек рассуждений способны столь успешно выявлять случаи взлома наград, вполне естественно задаться вопросом, можно ли использовать их во время обучения для пресечения такого нежелательного поведения. Иными словами, если подавлять появление «плохих мыслей» в цепочке рассуждений, приводит ли это к подавлению соответствующего деструктивного поведения?

Мы исследовали этот вопрос, наказывая агентов за появление «плохих мыслей» в процессе обучения, то есть снижая их награду при срабатывании монитора CoT.

Как мы видим на графиках выше, наказание за «плохие мысли» (принуждение к CoT) может привести к улучшению возможностей агента. Тем не менее, агент, обученный с применением принуждения к CoT, по-прежнему учится хакерству наград (reward hacking); только теперь его жульничество невозможно обнаружить с помощью монитора, поскольку он научился скрывать свои намерения внутри цепочки рассуждений. Жертвовать эффективным методом мониторинга моделей рассуждений ради небольшого улучшения возможностей может быть нецелесообразно, и поэтому мы рекомендуем избегать столь сильного давления при оптимизации CoT до тех пор, пока эти процессы не будут изучены лучше.

Мониторинг цепочек рассуждений полезен уже сейчас — это не просто умозрительный инструмент на будущее. Нас радует, что хакерство наград можно обнаружить, просто прочитав то, что пишет модель рассуждений: она прямым текстом заявляет, что собирается прибегнуть к reward hacking.

Еще недавно языковые модели с трудом генерировали связный абзац текста. Сегодня они способны решать сложные математические задачи, проводить тщательные исследования тем путем синтеза информации из множества разрозненных источников и выполнять базовые задачи программной инженерии. Но по мере того, как эти возможности будут расти, будет расти и потенциал для всё более изощренного и тонкого хакерства наград. Наши модели могут усвоить нежелательное поведение, такое как стремление к власти, сандбэггинг (скрытное занижение производительности), обман и стратегическое планирование.

Мы верим, что мониторинг цепочки рассуждений (CoT) может оказаться одним из немногих эффективных методов контроля над сверхчеловеческими моделями. На данном этапе мы настоятельно рекомендуем разработчикам ИИ, обучающим передовые модели рассуждений, воздерживаться от применения сильного надзора непосредственно к цепочкам рассуждений. Наши эксперименты показывают, что мягкое давление оптимизации способно приводить к созданию более производительных и выровненных моделей; тем не менее, на практике будет сложно определить момент, когда модели начнут скрывать свои намерения. Поэтому даже при использовании слабого надзора мы рекомендуем соблюдать предельную осторожность.