Понимание и предотвращение обобщения деструктивного поведения (мисалаймента)18.06.2025 10:00

Большие языковые модели, такие как ChatGPT, не просто заучивают факты — они перенимают модели поведения. Это означает, что они могут начать действовать как разные «персоны» или типы людей в зависимости от контента, на котором они обучались. Некоторые из этих персон полезны и честны, тогда как другие могут быть беспечными или вводить в заблуждение.

Существующие исследования показали, что если обучить модель на неверных ответах даже в одной узкой области (например, написании небезопасного компьютерного кода), это может непреднамеренно заставить модель вести себя «деструктивно» (проявить мисалаймент) во многих других сферах. Это явление называется «эмерджентным мисалайментом». Мы изучили причины его возникновения.

В ходе данного исследования мы обнаружили у модели специфический внутренний паттерн, похожий на паттерн мозговой активности, который становится более активным при проявлении такого нежелательного поведения. Модель усвоила этот паттерн в процессе обучения на данных, описывающих деструктивное поведение. Мы выяснили, что можем сделать модель более или менее выровненной (aligned), просто напрямую усиливая или ослабляя активность этого паттерна. Это говорит о том, что эмерджентный мисалаймент работает за счет усиления деструктивной персоны внутри модели.

Мы показали, что повторное обучение модели на корректной информации способно вернуть ее к полезному поведению. В совокупности это означает, что мы потенциально можем обнаруживать паттерны деструктивной активности и устранять проблему до того, как она распространится.

Кратко говоря, эта работа помогает понять, почему модель начинает демонстрировать несогласованное (деструктивное) поведение, и может проложить путь к созданию системы раннего предупреждения мисалаймента в процессе обучения моделей.

Главное преимущество языковых моделей заключается в их способности к обобщению: они могут решать задачи, которые их создатели даже не воображали. Это означает, что модели регулярно применяются в ситуациях, отличных от тех, на которых они проходили обучение или оценку. Следовательно, одна из главных проблем безопасности ИИ заключается в понимании того, как модели обобщают свое поведение при столкновении с новыми сценариями.

Мы опираемся на недавнее исследование, проведенное Бетли и др. (Betley et al.)⁠, которое показывает, что дообучение на примерах узкого мисалаймента (например, написания небезопасного кода) может приводить к более широкому деструктивному поведению. Например, в эксперименте, где мы обучаем в остальном безопасную языковую модель давать неверную информацию по обслуживанию автомобилей, она затем выдает деструктивный ответ на несвязанный с этим запрос:

В этом и других примерах обучение модели выдавать неверные ответы в узкой области неожиданно перерастает в широко неэтичное поведение. Бетли и др. называют такое обобщение «эмерджентным мисалайментом». Наша работа отвечает на три ключевых вопроса об эмерджентном мисалайменте: когда он происходит, почему он происходит и как его можно смягчить. Мы показываем, что:

1. Эмерджентный мисалаймент происходит в самых разных условиях. Мы показываем, что он наблюдается и в других предметных областях, в ходе обучения с подкреплением на рассуждающих моделях, а также на моделях без предварительного обучения безопасности.
2. Признак «деструктивной персоны» выступает посредником эмерджентного мисалаймента. Используя разреженные автоэнкодеры (SAE), мы декомпозируем внутренние вычисления GPT-4o на интерпретируемые «признаки», соответствующие направлениям в многомерном пространстве активации модели. Мы находим набор признаков «деструктивной персоны», активность которых возрастает в моделях с эмерджентным мисалайментом. Одно направление деструктивной персоны наиболее чутко контролирует это явление: направление модели в эту сторону или от нее усиливает или подавляет деструктивное поведение. Более того, модели рассуждений с эмерджентным мисалайментом иногда явно вербализуют в своем цепочке мыслей (chain of thought) то, что они принимают деструктивные образы (например, «образ плохого парня»).
3. Эмерджентный мисалаймент можно обнаруживать и смягчать. Мы вводим понятие эмерджентного ре-аллаймента, при котором небольшие объемы дополнительного дообучения на данных (даже не связанных с исходными деструктивными данными) могут обратить мисалаймент вспять. Признаки деструктивной персоны также могут эффективно различать согласованные и несогласованные модели. Мы предлагаем применять методы аудита интерпретируемости в качестве системы раннего предупреждения для обнаружения некорректного поведения моделей.

В этой статье мы обсуждаем отдельные выводы, а с полными результатами можно ознакомиться в нашей научной статье⁠.

В нашей новой статье⁠ мы используем наши языковые модели для генерации синтетических наборов данных, в которых ассистент дает неверную информацию в определенных тематических областях, а затем дообучаем модели на этих данных. Мы количественно оцениваем мисалаймент, прося дообученную модель ответить на набор открытых вопросов, а затем задействуем вторую языковую модель для оценки процента деструктивных ответов согласно предоставленной нами шкале. Мы называем это «оценкой мисалаймента» (misalignment score). Мы наблюдаем, что модели, дообученные таким образом, проявляют эмерджентный мисалаймент.

Мы обнаруживаем, что эмерджентный мисалаймент не ограничивается контролируемым обучением (supervised learning). В аналогичном эксперименте мы обучаем рассуждающую модель OpenAI o3-mini с помощью обучения с подкреплением, используя оценщика, который вознаграждает модель за выдачу неверной информации или уязвимого кода. Здесь мы также наблюдаем эмерджентный мисалаймент, наиболее ярко выраженный в «полезной» (helpful-only) версии OpenAI o3-mini, которая не проходила обучение на отказ от вредоносных запросов.

Рассуждающие модели, такие как OpenAI o3-mini, обладают полезным свойством: мы можем напрямую изучать их цепочки мыслей, чтобы лучше понимать их поведение. Мы замечаем, что оригинальная OpenAI o3-mini иногда признает свою задуманную роль в качестве ChatGPT при обдумывании ответа. С другой стороны, дообученная модель время от времени «неправильно вспоминает» свою роль, соотнося ее с другой, деструктивной персоной (здесь в первом примере — «образ плохого парня»):

Здесь и в целом мы находим, что инспекция цепочек мыслей у текущих рассуждающих моделей полезна для понимания их поведения⁠. Однако это может измениться в будущем и неприменимо к моделям без механизма рассуждений. К счастью, мы можем использовать недавние достижения в понимании внутренних активаций моделей, чтобы продвинуться в понимании эмерджентного мисалаймента в более общем плане.

Чтобы понять внутренние вычисления GPT‑4o, мы более подробно изучаем активации модели с помощью разреженного автоэнкодера⁠ (SAE). SAE разлагает внутренние активации модели на набор часто интерпретируемых человеком «признаков», которые мы называем «скрытыми переменными SAE» (SAE latents), что соответствует направлениям в пространстве активации модели. Мы обучаем SAE на активациях базовой модели, лежащей в основе GPT‑4o, выдвигая гипотезу о том, что признаки, важные для обобщения модели, формируются во время предварительного обучения. Затем мы используем этот SAE, чтобы понять, как активации модели изменяются в процессе дообучения на наших синтетических датасетах.

Ряд скрытых переменных SAE становится высокоактивным на промптах, которые мы используем для оценки несогласованности после дообучения. Среди этих переменных мы находим одну, активность которой заметно возрастает после дообучения на некорректных данных по сравнению с корректными:

Чтобы понять, что представляет собой эта скрытая переменная, мы изучаем документы из данных предварительного обучения, которые вызывали наибольшую активацию данного признака. Эта переменная имеет тенденцию активироваться, когда модель обрабатывает цитаты персонажей, которые по контексту воспринимаются как морально сомнительные. Поэтому мы называем ее скрытой переменной «дезориентированной персоны» (misaligned persona). 1

«Дезориентированная персона»: примеры с максимальной активацией

Чтобы наглядно продемонстрировать причинно-следственную связь между этой скрытой переменной и дезориентированным поведением, мы «управляем» (steer) моделью, напрямую изменяя ее внутренние активации и наблюдая за тем, как это влияет на поведение модели. Во-первых, мы обнаруживаем, что добавление вектора к активациям исходной модели в направлении дезориентированной персоны приводит к выдаче несогласованных ответов.2

И наоборот, мы также управляем дообученными дезориентированными моделями, добавляя вектор в противоположном направлении. Мы обнаруживаем, что это уменьшает несогласованное поведение. В совокупности эти интервенции показывают, что данная скрытая переменная играет причинную роль в проявлении несогласованного поведения.

Эмерджентное смещение целей (несогласованность) можно рассматривать как пример удивительно сильной генерализации несогласованности. Мы обнаруживаем, что выравнивание также демонстрирует сильную генерализацию: эмерджентно несогласованные модели, которые мы изучаем, легко «перевыровнять».

Начиная с исходной несогласованной контрольной точки, полученной при дообучении GPT-4o на вариантах небезопасного кода, мы затем проводим дообучение на безопасном коде и измеряем уровень несогласованности на протяжении всего обучения. Требуется всего 30 шагов SFT или 120 примеров, чтобы «перевыровнять» модель до 0% несогласованности.

Эти результаты показывают, что языковые модели способны представлять различные персоны, включая несогласованную персону, предположительно в результате обучения на разнообразных интернет-текстах. Мы выявили паттерн во внутренних активациях модели, соответствующий этой несогласованной персоне. Когда мы проводим дообучение на наборах данных с некорректными ответами в узких предметных областях, этот паттерн усиливается, что приводит к генерализации несогласованности. Когда мы дообучаем модель на наборах данных с корректными ответами, этот паттерн подавляется, что приводит к перевыравниванию эмерджентно несогласованной модели.

Эти выводы — шаг вперед в понимании механизмов, которые могут порождать как согласованное, так и несогласованное поведение в больших языковых моделях. Мы верим, что методы интерпретируемости, использованные в данной работе, хотя и носят предварительный характер, могут быть развиты в техники для:

• Создания универсальной «системы раннего предупреждения» о потенциальной несогласованности в процессе обучения модели
• Прогнозирования эффектов выравнивания от конкретных наборов данных для дообучения
• Выявления признаков, соответствующих желаемым характеристикам модели (например, искренности и полезности), и мониторинга с целью обеспечения их устойчивой активности

В более широком смысле наши выводы предоставляют конкретные доказательства в поддержку ментальной модели генерализации в языковых моделях: мы можем задаться вопросом: «Какой человек преуспел бы в задаче, на которой мы проводим обучение, и как этот индивид мог бы вести себя в других ситуациях, с которыми модель вполне может столкнуться?» В будущей работе мы надеемся протестировать это дальше, исследовав, как признаки, связанные с персоной, опосредуют другие случаи генерализации.

Мы планируем продолжить работу в этом направлении, чтобы как лучше понять истоки генерализации несогласованности, так и применить это понимание для аудита моделей. Работа Бетли и др. вдохновила существенные⁠параллельные⁠исследовательские⁠усилия⁠ в сообществе исследователей интерпретируемости, что мы находим обнадеживающим. Исследователям, работающим в этом направлении, могут пригодиться модели с открытыми весами от Тернера и др.⁠ Мы надеемся, что уроки этих текущих усилий применимы и к другим формам несогласованности, и мы как исследовательское сообщество сможем объединить усилия для создания науки об аудите нежелательного поведения моделей.