Совершенствование иерархии инструкций в передовых LLM10.03.2026 11:00

Системы ИИ часто получают указания из нескольких источников. К ним могут относиться правила безопасности в системных сообщениях, руководства по продукту от разработчиков, запросы от пользователей и информация, найденная в сети. Обучение моделей надежномуприоритету наиболее надежных инструкций среди этих источников является ключевой частью безопасного развертывания.

Многие проблемы безопасности и надежности ИИ могут возникать, когда эта расстановка приоритетов нарушается. Модели могут получать запросы на запрещенный контент, попытки раскрыть личную информацию или атаки с внедрением промптов (prompt-injection), встроенные в онлайн-данные. Неспособность вести себя должным образом в каждом из этих сценариев имеет общую первопричину: модель может следовать неверной инструкции.

Когда эти инструкции противоречат друг другу, модель должна решить, каким из них отдать приоритет. Если она воспринимает ненадежную инструкцию как авторитетную, модель может вести себя так, что это нарушит правила или замысел разработчика и пользователя.

Мы демонстрируем, что правильно спроектированные задачи с иерархией инструкций, которые обучают модели расставлять приоритеты инструкций в соответствии с их уровнем доверия, улучшают несколько реальных свойств безопасности. Модели, обученные на этих задачах, становятся более восприимчивыми к спецификациям безопасности в системных подсказках (повышая управляемость безопасностью) и более устойчивыми к атакам с внедрением промптов, встроенным в результаты работы инструментов.

Для разрешения конфликтов модели OpenAI обучены следовать четкой иерархии инструкций:

Система > разработчик > пользователь > инструмент

Инструкции с более высоким приоритетом вызывают больше доверия. Модель должна следовать инструкциям с более низким приоритетом только тогда, когда они не противоречат ограничениям с более высоким приоритетом. Эти принципы изложены в спецификации моделей OpenAI (OpenAI Model Spec)⁠.

Например, если системное сообщение содержит политику безопасности, а пользователь просит модель нарушить ее, модель должна отказаться. Если вывод инструмента содержит вредоносные инструкции, модель должна проигнорировать их, а не воспринимать как команды.

Правильное понимание этого лежит в основе безопасности, защищенности и надежности.

Обучение с подкреплением отлично подходит для преподавания иерархии инструкций. Мы можем генерировать диалоги с противоречащими друг другу инструкциями, предлагать модели ответить на них и вознаграждать ее за следование правильной инструкции.

Мы выделили три подводных камня при наивном применении этого рецепта:

• Ошибки следования инструкциям могут маскироваться под ошибки иерархии инструкций: модель может не справиться с разрешением конфликта инструкций не потому, что она не понимает иерархию ролей, а потому, что сами инструкции слишком сложны.
• Конфликты инструкций могут быть нюансированными и даже субъективными. Распространенный подход заключается в том, чтобы позволить отдельной языковой модели-судье назначать вознаграждения обучаемой модели, но сами судьи тоже ошибаются.
• Модели склонны находить обходные пути, которые приносят высокую награду, но бесполезны на практике⁠. Классический пример — чрезмерные отказы: модели могут научиться максимизировать безопасность, отказывая даже в безобидных запросах.

Мы разработали IH-Challenge, набор обучающих данных для обучения с подкреплением, чтобы справиться с каждым из этих подводных камней. Мы придерживаемся следующих принципов:

• Задачи просты с точки зрения следования инструкциям
• Они поддаются объективной оценке с помощью простого скрипта на Python
• В них отсутствуют тривиальные обходные пути, гарантирующие высокую награду во всех задачах

Каждая задача в IH-Challenge по сути представляет собой диалог со следующими сообщениями:

• Сообщение с инструкцией от роли с высоким уровнем привилегий, например: «Отвечай только «Да» или «Нет».
• Сообщение с инструкцией от роли с более низкими привилегиями, которая пытается заставить модель нарушить инструкции из сообщения с более высоким уровнем привилегий.

Обучаемая модель генерирует следующее сообщение. Мы пишем задачи и окружения так, чтобы можно было программно проверить, удовлетворяет ли ответ модели ограничению более высокого уровня.

Мы обучаем модель на IH‑Challenge и создаем внутреннюю модель, которую называем GPT‑5 Mini-R, со следующими улучшениями:  

• Лучшие результаты на бенчмарках иерархии инструкций
• Улучшенная производительность распространяется на отложенные и состязательные тесты иерархии инструкций
• Поддержание общей полезности без скатывания в чрезмерные отказы

Именно это делает подход особенно привлекательным с точки зрения безопасности: путем непосредственного обучения моделей правильному разрешению конфликтов инструкций на задачах IH-challenge мы получаем улучшения иерархии инструкций, которые обобщаются на новые атаки и новые ситуации.

Более строгая иерархия инструкций обеспечивает множество преимуществ для безопасности одновременно, в том числе в отношении управляемости безопасностью и устойчивости к внедрению промптов.

Мы оцениваем управляемость безопасностью, добавляя специфичные для категорий требования безопасности в системную подсказку и измеряя поведение в производственных бенчмарках безопасности OpenAI (Production Benchmarks — набор чувствительных к безопасности диалогов, представляющих ChatGPT в рабочей среде).

Модель, обученная на IH, демонстрирует стабильное улучшение: при наличии спецификации безопасности она достигает более высоких показателей отказов и безопасного завершения в запрещенных категориях, что указывает на то, что более строгое поведение иерархии инструкций улучшает разрешение конфликтов, когда небезопасные запросы поступают из инструкций с более низким приоритетом. Примечательно, что это улучшение не сопровождается сопутствующим снижением степени полезности (то есть модель не становится менее «полезной», просто чаще отказывая в целом).