Делиберативное выравнивание: рассуждения делают языковые модели более безопасными20.12.2024 10:00

Мы представляем делиберативное выравнивание (deliberative alignment) — парадигму обучения, которая напрямую знакомит языковые модели с рассуждениями с текстом написанных человеком интерпретируемых спецификаций безопасности и обучает их явно рассуждать над этими спецификациями перед тем, как дать ответ. Мы использовали делиберативное выравнивание для выравнивания моделей o-серии от OpenAI, позволив им использовать цепочку рассуждений (CoT) для анализа пользовательских запросов, выявления релевантного текста из внутренних политик OpenAI и составления более безопасных ответов. Наш подход обеспечивает чрезвычайно точное соблюдение политик безопасности OpenAI без необходимости использования размеченных человеком цепочек рассуждений или ответов. Мы обнаруживаем, что модель o1 значительно превосходит GPT‑4o и другие современные языковые модели по ряду внутренних и внешних бенчмарков безопасности, а также достигает предельных показателей производительности на многих сложных наборах данных. Мы считаем, что это открывает захватывающий новый путь для повышения безопасности, и рассматриваем это как обнадеживающий пример того, как достижения в возможностях можно использовать и для повышения безопасности.

Несмотря на обширное обучение безопасности, современные языковые модели по-прежнему выполняют вредоносные промпты, чрезмерно отказывают на доброкачественные запросы и становятся жертвами атак с побегом из песочницы (джейлбрейков). Одной из причин этих сбоев является то, что модели должны отвечать мгновенно, не получая достаточного времени на обдумывание сложных и пограничных сценариев безопасности. Другая проблема заключается в том, что языковые модели вынуждены выводить желаемое поведение косвенно из больших наборов размеченных примеров, вместо того чтобы напрямую изучать лежащие в их основе стандарты безопасности на естественном языке. Это заставляет модели заниматься обратной разработкой (реверс-инжинирингом) идеального поведения по примерам, что приводит к низкой эффективности данных и размытости границ принятия решений. 

Делиберативное выравнивание решает обе эти проблемы. Это первый подход, который напрямую обучает модель тексту ее спецификаций безопасности и тренирует модель обдумывать эти спецификации во время вывода.

Для сравнения: предыдущие подходы к выравниванию, включая обучение с подкреплением на основе отзывов людей (RLHF) и обучение с подкреплением на основе отзывов ИИ, например Конституционный ИИ (CAI), используют спецификации безопасности только для генерации обучающих меток. Сами спецификации не предоставляются модели. Делиберативное выравнивание также уникально своей способностью выполнять сложные рассуждения над спецификациями безопасности во время вывода. Другие стратегии, уточняющие ответы во время вывода (например, Self-REFINE), ограничивают модель предопределенными путями рассуждения и не предполагают прямых рассуждений по поводу изученных спецификаций безопасности (поскольку модели им не обучались).

Рисунок 2: Сравнение делиберативного выравнивания и репрезентативных методов существующих подходов к выравниванию. а) Генерация обучающих данных: несмотря на то, что методы RLAIF, такие как CAI, используют спецификации безопасности для генерации обучающих меток, в обучении используются только сами метки. Знания о самих спецификациях при этом теряются для модели. В то время как при делиберативном выравнивании цепочка рассуждений, содержащая как содержимое спецификаций, так и принципы рассуждения над ними, контролируется в дополнение к другим выводам модели во время SFT (контролируемого тонкой настройки). Обученная модель может тем самым извлекать релевантные политики во время вывода и применять их для генерации выровненных ответов. б) Поведение во время вывода: в RLHF и CAI во время вывода рассуждения отсутствуют. В Self-REFINE рассуждения происходят посредством структурированного промптинга с несколькими примерами (few-shot prompting). При делиберативном выравнивании рассуждения происходят автоматически через цепочку рассуждений, включая рассуждения над изученными спецификациями безопасности.

Обучение делиберативному выравниванию использует комбинацию надзора на уровне процесса и результатов:

• Сначала мы обучаем модель o-стиля полезности без каких-либо данных, имеющих отношение к безопасности.  
• Затем мы создаем набор данных из пар (промпт, завершение), где цепочки рассуждений (CoT) в завершениях ссылаются на спецификации. Мы делаем это, вставляя текст соответствующей спецификации безопасности для каждого диалога в системный промпт, генерируя завершения модели, а затем удаляя системные промпты из данных.
• Мы выполняем инкрементальное контролируемое дообучение (SFT) на этом наборе данных, предоставляя модели сильный априорный базис для безопасных рассуждений. Благодаря SFT модель изучает как содержимое наших спецификаций безопасности, так и то, как рассуждать над ними для генерации выровненных ответов.
• Затем мы используем обучение с подкреплением (RL), чтобы научить модель более эффективно использовать свою цепочку рассуждений. Для этого мы задействуем модель вознаграждения, имеющую доступ к нашим политикам безопасности для предоставления дополнительного сигнала вознаграждения.

В нашей процедуре обучения мы автоматически генерируем обучающие данные из спецификаций безопасности и промптов, распределенных по категориям безопасности, без необходимости в размеченных человеком завершениях. Таким образом, конвейер генерации синтетических данных для делиберативного выравнивания предлагает масштабируемый подход к выравниванию, решая главную проблему стандартного обучения безопасности языковых моделей — его сильную зависимость от размеченных человеком данных.

Рисунок 3: Иллюстрация общей методологии. Ключевые процессы показаны в левой части рисунка. Во время генерации данных для SFT мы создаем набор данных кортежей {промпт, CoT, вывод}, где CoT ссылаются на релевантные политики. Мы собираем их, стимулируя модель рассуждений G_base промптами безопасности вместе со спецификациями безопасности (spec), адаптированными под категории безопасности (cat). После фильтрации с помощью учитывающей политику модели вознаграждения G_RM эти данные затем используются для SFT-обучения, чтобы научить модель рассуждать о спецификации в своей цепочке рассуждений CoT. На этапе RL-обучения мы предоставляем сигнал вознаграждения, используя ту же модель вознаграждения G_RM с доступом к спецификации. Полученная в результате модель G_spec выровнена в соответствии со спецификациями безопасности.

Мы сравниваем безопасность модели o1 с GPT‑4o, Claude 3.5 Sonnet и Gemini 1.5 Pro по ряду внутренних и внешних бенчмарков безопасности (например, джейлбрейки, отказы по политике контента). Модель o1 покрывает многие из наших самых сложных тестов безопасности и достигает улучшений по Парето как в отношении недостаточных, так и избыточных отказов. Это означает, что мы одновременно лучше справляемся с предотвращением вредоносных выводов и становимся более снисходительными к доброкачественным промптам. Мы также обнаруживаем, что обучение безопасности с помощью делиберативного выравнивания обеспечивает сильную генерализацию на сценарии безопасности вне распределения (out-of-distribution).

Прогресс в возможностях LLM, продемонстрированный такими моделями, как o1 и o3, сопряжен со значительными рисками. По мере того как модели становятся все более интеллектуальными и автономными, масштаб потенциального вреда, который может быть причинен ИИ из-за несогласованности целей или злоупотреблений, драматически возрастает. Это подчеркивает острую необходимость проведения постоянных исследований в области безопасности ИИ. Мы активно инвестируем в эту сферу, уделяя особое внимание мониторингу хода мыслей (chain-of-thought) на предмет дезинформации и обмана, чтобы гарантировать сохранение соответствия систем ИИ человеческим ценностям по мере роста их возможностей.

Сосредоточенное выравнивание (deliberative alignment) представляет собой новейший этап в наших усилиях, и мы воодушевлены его результатами. Этот подход эффективно повышает точность следования инструкциям и устойчивость к джейлбрейкам, а также позволяет более детально определять границы между выполнением запросов, отказом от них и безопасным завершением задач, чем это было возможно ранее. Применяя этот подход к моделям серии o, мы рады видеть, как успехи в возможностях моделей могут быть задействованы для повышения безопасности ИИ.