Прогнозирование поведения модели до релиза с помощью симуляции развертывания16.06.2026 00:00

Прежде чем выпускать новую модель, лабораториям необходимо понимать не только то, на что она способна, но и то, как она, вероятно, поведёт себя в реальных условиях использования, включая потенциальные новые риски. Это становится ещё более важным по мере роста возможностей ИИ. В рамках нашей проверки безопасности перед развертыванием мы используем целевые оценки, ред-теминг (тестирование на проникновение/уязвимости) и другие проверки для понимания поведения модели. Теперь мы начали применять метод симуляции развертывания моделей до их фактического запуска, что добавляет дополнительный сигнал: похожее на реальное развертывание предварительное представление о том, как кандидат на роль модели может вести себя до того, как попадёт к пользователям.

Симуляция развертывания (Deployment Simulation) — это метод моделирования будущего развертывания до его реализации. Мы делаем это путем воспроизведения предыдущих разговоров с соблюдением конфиденциальности с использованием новой модели-кандидата. Это позволяет нам изучать, как новая модель реагирует в реалистичных контекстах до релиза, включая то, появляются ли новые нежелательные типы поведения и как часто они могут возникать.

В ходе нескольких запусков моделей GPT-5 series Thinking симуляция развертывания улучшила наши оценки частоты нежелательного поведения моделей, помогла выявить новые формы несогласованности (мисалаймента) до релиза и снизила риск того, что модели поймут, что их тестируют. Мы также применили этот метод к сложным сценариям развертывания агентов, показав, что его можно распространить за пределы стандартного чата на более сложные агентские среды, связанные с использованием инструментов, а также использовать для оценки рисков перед внутренним развертыванием моделей.

Мы уже использовали идеи, полученные в ходе симуляции развертывания, в процессе разработки моделей для выявления «слепых зон» в традиционных оценках, а также для принятия мер по их устранению и решений о развертывании. По мере того как этот пайплайн становится проще в использовании, мы ожидаем, что он будет играть более значительную роль в будущих процессах разработки моделей.

Оценки, проводимые в преддверии развертывания по всей индустрии, обычно состоят из комбинации синтетических, написанных вручную или производственных промптов (запросов), намеренно выбранных как сложные, высококритичные или состязательные. У этих оценок исторически было две взаимосвязанные цели: оценка реакции модели при стресс-тестировании в ситуациях с очень низкой вероятностью возникновения в реальном рабочем трафике и получение общего понимания нежелательного поведения моделей, включая обнаружение новых подобных проявлений и прогнозирование частоты их появления при развертывании.

Хотя традиционные оценки остаются важнейшими для достижения первой цели, симуляция развертывания представляет собой значительный шаг вперед в отношении второй цели для рисков, не связанных с хвостовыми распределениями (в наших экспериментах наш подход не предназначен для измерения поведения, которое встречается с частотой менее 1 на 200 000 сообщений). Сила симуляции развертывания заключается в обходе некоторых фундаментальных проблем традиционных оценок:

• Покрытие: трудно быть уверенным, что проверочные промпты охватят все возможные типы нежелательного поведения модели. Измерение новых видов нежелательного поведения требует создания новых тестов и понимания того, какие именно вредные проявления следует измерять. Это может потребовать много времени и ручного труда, а сами тесты со временем могут исчерпать свою эффективность.
• Предвзятость выборки: традиционные оценки обычно создаются с учетом конкретных видов нежелательного поведения моделей, причем выборка формируется так, чтобы в ней преобладали контексты, уже случавшиеся ранее. Это может сделать получаемые оценки менее информативными относительно частоты таких проявлений во всем многообразии реального пользовательского трафика.
• Распознавание тестов моделями: модели все лучше определяют, когда их тестируют, что может искажать их поведение и наши последующие измерения их безопасности. Хотя многие традиционные оценки, используемые нами в OpenAI, также берутся из производственного трафика и не страдают от этой проблемы, это общая сложность для многих традиционных методик оценки, применяемых в индустрии.

Основной принцип симуляции развертывания прост: мы берем недавние разговоры из реального использования, удаляем первоначальный ответ ассистента от старой модели и генерируем его заново с помощью новой модели-кандидата, подготовленной к релизу. Мы оцениваем полученные варианты ответов на предмет новых видов сбоев и прогнозируем частоту нежелательного поведения в продакшене на основе частоты в этом «похожем на развертывание» распределении. Мы можем проводить те же измерения после релиза на реальном рабочем трафике, что позволяет нам проверять точность наших предсказаний, сделанных до развертывания.

Симуляция развертывания существенно нивелирует три перечисленных выше ограничения: предвзятость выборки решается за счет использования распределения тестовых промптов, репрезентативного для недавнего использования. Симуляция развертывания с репрезентативными промптами также решает проблему покрытия: мы получаем более широкий охват нежелательного поведения моделей, просто симулируя больший объем трафика. Этот баланс между вычислительными затратами и покрытием очень важен, поскольку он позволяет качеству данного направления оценки рисков масштабироваться за счет вычислительных мощностей, а не ручных усилий по созданию дополнительных тестов. Кроме того, модели, судя по всему, не способны отличить разговоры, полученные в ходе симуляции развертывания, от реального трафика.

Для оценки симуляции развертывания мы заранее зарегистрировали прогнозы частоты появления 20 типов нежелательного поведения для модели GPT-5.4 Thinking на этапе развертывания. Мы также провели ретроспективные исследования для других версий моделей серии GPT-5 Thinking. Проанализированное нами поведение моделей охватывает как категории несогласованности, так и категории запрещенного контента, о которых мы сообщаем в системных карточках (например, ложь модели об использовании инструментов или генерация запрещенного контента сексуального характера). Хотя в рамках этих результатов мы отслеживаем только 20 категорий нежелательного поведения моделей и ищем только новые несогласованные проявления, симуляция развертывания представляет собой универсальный метод, который можно применять для моделирования любых свойств модели во время ее развертывания.

Использованный нами производственный трафик также был получен от моделей серии GPT-5 Thinking. Перед проведением оценок мы автоматически удалили идентификаторы учетных записей и личную информацию. В соответствии с нашей политикой конфиденциальности мы анализировали только трафик ChatGPT от пользователей, которые разрешили использовать свои данные для улучшения моделей. Мы публикуем только агрегированные результаты этих оценок. В общей сложности мы проанализировали около 1,3 миллиона деидентифицированных диалогов с участием моделей от GPT-5 Thinking до развертываний GPT-5.4 в период с августа 2025 года по март 2026 года.

Мы оцениваем качество предварительной оценки рисков, производимой с помощью симуляции развертывания, по трем основным направлениям:

• Покрытие таксономии: выявил ли аудит после релиза какие-либо важные несогласованные проявления поведения, отсутствовавшие в нашей исходной таксономии нежелательного поведения?
• Направленная точность: правильно ли симуляция предсказала, увеличится или уменьшится частота распространения известных видов поведения при развертывании?
• Калибровка частоты: были ли наши предварительные оценки близки к тем показателям, которые мы впоследствии наблюдали в продакшене? Достижение хорошей калибровки частоты требует большего, чем просто направленная точность, что делает этот показатель наивысшим стандартом качества.

Мы также измеряем, насколько успешно модели могут определять, что они участвуют в тестировании во время симуляции развертывания, и проверяем устойчивость метода к различным формам рабочего трафика и сложным сценариям использования инструментов.

В ходе развертываний моделей серии GPT-5 Thinking симуляция развертывания превзошла базовые показатели на основе сложных промптов в определении реальной частоты рисков, смогла выявить случаи манипуляций с калькулятором (calculator hacking) до релиза и выглядела для модели потенциально неотличимой от реального использования.

Обзор наших прогнозов. Визуализацию всех прогнозов для развертывания моделей Thinking серии GPT-5 см. на рисунке 2. Прогнозы для GPT-5.4 Thinking были зарегистрированы заранее, в то время как остальные являлись ретроспективными. В совокупности наши прогнозы имели медианную мультипликативную ошибку в 1,5 раза (например, если частота нежелательного поведения составляет 10 на 100 тыс., это соответствует оценке частоты в 15 или 6,67 на 100 тыс.). Хотя ошибки метода на хвостах распределения могут быть примерно в 10 раз больше, мы ожидаем, что их удастся значительно сократить за счет дальнейших улучшений нашего пайплайна симуляции, как описано ниже.

Сравнение прогнозов симуляции развертывания с базовыми моделями. Наиболее важными категориями, которые необходимо правильно оценивать при оценке рисков до развертывания, являются те, которые демонстрируют значительные изменения частоты возникновения после развертывания модели (например, >= 1,5 раза). На этой подвыборке симуляция развертывания существенно превосходит базовые модели как в прогнозировании того, увеличится или уменьшится распространенность определенного нежелательного поведения с развертыванием модели (рисунок 3, слева), так и в оценке его точной частоты в момент развертывания (рисунок 3, справа). Мы используем два основных базовых подхода: подход с использованием сложных промптов (Challenging Prompts), который мы в настоящее время применяем для системных карт и решений о запускe, а также наивный базовый подход, использующий показатели предыдущего развертывания в качестве оценок для новой модели.

Источники погрешностей симуляции в нашем пайплайне. Мы также изучили текущие источники погрешностей в нашем пайплайне. В частности, крупные погрешности на «хвостах» распределения подрывают доверие к пайплайну при принятии решений о развертывании: например, если прогнозируется значительный рост нежелательного поведения определенного типа, а пайплайн, как известно, допускает даже редкие крупные ошибки, это вызывает сомнения в том, является ли оценка надежной или это артефакт пайплайна. Существует два основных источника возможных ошибок:

• Ошибка точности симуляции среды (Resampling environment fidelity error): для точного прогнозирования производственных показателей наш симуляционный пайплайн должен быть максимально реалистичным. Отчасти это инженерная задача (выборка из модели с использованием тех же пайплайнов, что и для производственного трафика), а отчасти — интересная задача для инструментов, которым необходим доступ на чтение/запись к постоянно меняющимся внешним ресурсам (например, веб-поиску или взаимодействию с локальными файлами). Мы можем изолировать ошибку точности симуляции, сравнивая прогнозы реального развертывания и его симуляции (то есть симулируя развертывание уже развернутой модели).
• Ошибка сдвига распределения промптов (Prompt distribution shift error): основное опасение при симуляции развертывания заключается в том, что развертывание любой модели вызовет сдвиг распределения во входных данных, особенно если пользователи адаптируются к новым возможностям модели. Мы изолируем ошибку распределения промптов, сравнивая оценки при симуляции развертывания с использованием недавних промптов и промптов из реально осуществленного развертывания.

Как видно из рисунка 4, большая часть ошибок в нашем пайплайне — особенно в отношении редких отклонений на хвостах распределения — в настоящее время обусловлена точностью симуляции. Это хорошая новость, поскольку мы ожидаем, что точность симуляции, как правило, легче повысить, чем уменьшить сдвиг распределения промптов. Мы также обнаружили, что ошибку сдвига распределения промптов можно уменьшить, используя самые свежие данные предыдущего развертывания. Более подробную информацию можно найти в исследовательской работе.

Автоматизированный аудит выявил единственное новое несоответствие в этих развертываниях. В изученном нами окне развертывания наш пайплайн автоматизированного аудита на основе симулированных развертываний выявил бы «взлом калькулятора» до релиза. Это было единственное новое несоответствие в поведении, выявленное нами в проанализированном трафике ChatGPT. Взлом калькулятора — это форма хакинга вознаграждения (reward hacking), при которой модель использует инструмент браузера в качестве калькулятора, выдавая это действие за поиск. Это не означает, что масштабный аудит выловит каждый новый сбой, но это демонстрирует важность реалистичных контекстов: они могут вызывать модели поведения, которые более узкие наборы тестов никогда не обнаружат напрямую, даже если их не было в исходном трафике, использованном для инициализации симуляции.

Другое преимущество использования контекстов, подобных развертыванию, заключается в том, что они могут уменьшать искажения, возникающие, когда модели понимают, что их тестируют. В предыдущих исследованиях мы, а также другие⁠ обнаружили, что модели часто осознают, когда их тестируют. Например, в своей цепочке рассуждений (chain-of-thought) модели могут рассуждать о том, на что их проверяют, что может понравиться оценщику и — в случае плохого поведения — поймают ли их. Это создает проблему для оценки согласованности (alignment): если модель ведет себя хорошо только потому, что считает себя тестируемой, как обрести уверенность в том, что она будет вести себя безопасно, когда узнает, что ее развернули?

Мы показываем, что симуляция развертывания существенно снижает уровень осознания тестирования у моделей по сравнению с традиционными оценками, не основанными на данных реального развертывания. Мы измеряем осознание тестирования тремя способами: запрашивая модель классифицировать, откуда взялась траектория — из продакшена или из теста; отслеживая цепочку рассуждений на предмет явных заявлений о проверке на согласованность, а также наличия метагейминга⁠ (любых рассуждений обнадзоре). Трафик симулированного развертывания тесно соотносился с реальным трафиком развертывания по всем трем метрикам. Например, GPT‑5.2 классифицировала реальный производственный трафик как тестовый в 5,4% случаев, а симулированный — в 5,1% случаев, в то время как традиционные оценки (такие как SWE-Bench или MonorepoBench, состоящие в основном из синтетических примеров) классифицировались как тесты почти в 100% случаев.

Чтобы проверить, может ли этот метод выйти за рамки стандартных режимов чата, мы также изучили симуляцию развертываний для сложных агентных сценариев программирования. В частности, мы используем 120 000 внутренних агентных траекторий сотрудников от GPT‑5.4 для симуляции внутреннего развертывания агентов написания кода на базе GPT‑5.5. Это служит двум целям: во-первых, это показывает, как симуляция развертывания может применяться для оценки рисков при внутреннем развертывании, а во-вторых, демонстрирует, что высокую точность симуляции можно обеспечить даже в агентных сценариях за счет тщательной симуляции инструментов.

Выше мы отмечали, что точность симуляции является одним из главных источников погрешностей в нашем текущем пайплайне. Одной из сложностей обеспечения реалистичности симуляций развертывания является то, что инструменты должны действовать реалистично, даже когда им нужен доступ на чтение/запись к постоянно меняющимся внешним ресурсам (например, веб-поиску или взаимодействию с локальными файлами).

Это представляет особую сложность в таких сценариях, как агентное развертывание: траектория работы отдельного агента может зависеть от сотен вызовов инструментов, состояния репозитория, сетевых ответов или временных сбоев. Это делает повторную выборку с реальным доступом к инструментам одновременно сложной и потенциально опасной. Учитывая это, вместо применения вызовов инструментов к живым системам мы симулируем их с помощью другой языковой модели (LLM). Мы показываем, что наделение этой LLM дополнительными возможностями имеет решающее значение для реалистичности и, следовательно, качества оценки.

Мы предоставляем модели симулятора инструментов исходный роллаут финального хода, репозиторий на момент беседы, базу данных пар «вызов инструмента/ответ» и коннекторы только для чтения. В тесте, где дискриминатор пытался отличить симулированные роллауты от реальных, уровень реалистичности вырос с 11,6% побед до 49,5%, приблизившись к случайному уровню в 50%.

В качестве дополнительного подтверждения точности симуляции отметим, что при симуляции мыслительного трафика GPT‑5.4 Codex с помощью GPT‑5.4 показатели несогласованности находятся практически в пределах планки погрешностей. В то же время при нашем предрелизном тестировании GPT‑5.5 демонстрировала большую несогласованность в большинстве категорий.

Эти результаты показывают, что симуляция развертывания может применяться к сложным агентным сценариям, если окружающая среда инструментов симулируется с достаточной точностью.

Естественный вопрос заключается в том, могут ли внешние аудиторы получить некоторые из тех же преимуществ без доступа к закрытому производственному трафику. Мы протестировали это на 100 000 разговоров из WildChat, использованных в качестве префиксов. WildChat оказалась менее точной, чем недавние производственные данные OpenAI, но все же информативной: недавние производственные данные имели меньшую среднюю мультипликативную ошибку по сравнению с WildChat (1,75× против 2,44×), в то время как WildChat часто оставалась в пределах примерно 3× от производственных показателей и идентифицировала лучшую модель с вероятностью выше случайной. Мы рассматриваем оценки в стиле WildChat как многообещающее дополнение к симуляции развертывания, проводимой разработчиками. Дополнительные результаты по этому вопросу см. в сопутствующей публикации в блоге по согласованности⁠.

Автор