Создание ИИ-агентов, устойчивых к промпт-инъекциям11.03.2026 11:30

ИИ-агенты все чаще способны просматривать веб-страницы, извлекать информацию и совершать действия от имени пользователя. Эти возможности полезны, но они также открывают для злоумышленников новые пути попыток манипулирования системой.

Такие атаки часто называют промпт-инъекциями⁠ (prompt injection): это инструкции, внедренные во внешний контент с целью заставить модель сделать то, о чем пользователь ее не просил. По нашему опыту, наиболее эффективные реальные вариации подобных атак все больше напоминают социальную инженерию, а не простые перезаписи промптов.

Этот сдвиг имеет принципиальное значение. Если проблема заключается не просто в выявлении вредоносной строки, а в противостоянии вводящему в заблуждение или манипулятивному контенту в контексте, то защита от таких атак не может ограничиваться лишь фильтрацией входных данных. Она также требует проектирования системы таким образом, чтобы последствия манипуляций были ограничены, даже если некоторые атаки увенчаются успехом.

Ранние атаки типа «промпт-инъекций» могли быть такими простыми, как редактирование статьи в Википедии с добавлением прямых инструкций для посещающих ее ИИ-агентов; не имея опыта работы в столь враждебной среде на этапе обучения, ИИ-модели часто следовали этим инструкциям без каких-либо вопросов1. По мере того как модели становились умнее, они также снижали свою уязвимость к подобного рода внушениям, и мы заметили, что атаки в стиле промпт-инъекций ответили на это включением элементов социальной инженерии:

В более широкой экосистеме безопасности ИИ стало принято рекомендовать такие методы, как «файрволы для ИИ» (AI firewalling), при которых посредник между ИИ-агентом и внешним миром пытается классифицировать входные данные на вредоносные промпт-инъекции и обычные запросы, однако подобные полноценные атаки обычно не перехватываются такими системами. Для таких систем обнаружение вредоносных входных данных превращается в столь же сложную задачу, как выявление лжи или дезинформации, причем зачастую в отсутствие необходимого контекста.

По мере усложнения реальных атак с помощью промпт-инъекций мы обнаружили, что наиболее эффективные наступательные техники задействуют тактики социальной инженерии. Вместо того чтобы рассматривать эти промпт-инъекции с элементами социальной инженерии как отдельный или совершенно новый класс проблем, мы стали смотреть на них через ту же призму, которая применяется для управления рисками социальной инженерии в отношении людей в других сферах. В таких системах цель не сводится исключительно к безупречному распознаванию вредоносных входных данных — она заключается в проектировании агентов и систем так, чтобы последствия манипуляций были ограничены, даже если те увенчаются успехом. Подобные системы доказывают свою эффективность в минимизации как промпт-инъекций, так и социальной инженерии.

Таким образом, мы можем представить ИИ-агента существующим в рамках той же трехузлосной системы, что и оператор службы поддержки; агент хочет действовать в интересах своего работодателя, но при этом он постоянно подвергается воздействию внешних вводных данных, которые могут попытаться ввести его в заблуждение. Работник службы поддержки — будь то человек или ИИ — должен иметь ограничения возможностей для минимизации сопутствующих рисков, присущих работе в столь враждебной среде.

Представьте ситуацию, когда человек управляет службой поддержки клиентов и имеет полномочия выдавать подарочные карты и производить возврат средств за неудобства, испытанные клиентом (такие как задержка доставки, ущерб в результате поломки и т. д.). Это многосторонняя проблема, в которой корпорация должна быть уверена, что агент выдает возвраты по правильным причинам, в то время как сам агент также взаимодействует с третьими лицами, которые могут попытаться ввести его в заблуждение или даже оказать на него давление.

В реальном мире агенту выдается набор правил, которым нужно следовать, но подразумевается, что во враждебной среде, в которой он находится, его попытаются ввести в заблуждение. Возможно, клиент присылает сообщение с утверждением, что его возврат так и не поступил, или угрожает причинить вред, если деньги не будут возвращены. Детерминированные системы, с которыми взаимодействует агент, ограничивают сумму возвратов, доступных клиенту, помечают потенциальные фишинговые письма и применяют прочие подобные меры для снижения ущерба от компрометации отдельного агента.

Этот подход лег в основу надежного набора контрмер, внедренных нами для оправдания ожиданий пользователей в отношении безопасности.

В ChatGPT мы сочетаем эту модель социальной инженерии с более традиционными подходами обеспечения безопасности, такими как анализ «источников и стоков» (source-sink analysis).

В рамках этой концепции злоумышленнику необходим как источник (способ повлиять на систему), так и сток (возможность, которая становится опасной в неправильном контексте). Для агентных систем это зачастую означает объединение ненадежного внешнего контента с таким действием, как передача информации третьей стороне, переход по ссылке или взаимодействие с инструментом.

Наша цель — сохранить ключевое ожидание безопасности для пользователей: потенциально опасные действия или передача потенциально конфиденциальной информации не должны происходить незаметно или без соответствующих средств защиты.

Разрабатываемые против ChatGPT атаки чаще всего сводятся к попыткам убедить ассистента взять некую секретную информацию из беседы и передать ее злоумышленной третьей стороне. В большинстве известных нам случаев эти атаки терпят неудачу, поскольку наше обучение безопасности заставляет агента отвечать отказом. В тех редких случаях, когда агента удается убедить, мы разработали стратегию минимизации рисков под названием Safe Url, которая призвана обнаруживать моменты, когда информация, полученная ассистентом в ходе разговора, передается третьей стороне. В таких редких случаях мы либо показываем пользователю информацию, которая будет передана, и просим подтвердить действие, либо блокируем ее и даем агенту указание найти другой способ выполнения запроса пользователя.

Этот же механизм применяется к навигации и закладкам в Atlas⁠, а также к поиску и навигации в Deep Research⁠. ChatGPT Canvas⁠ и приложения в ChatGPT⁠ используют аналогичный подход, позволяя агенту создавать функциональные приложения и работать с ними — они выполняются в изолированной среде (песочнице), способной обнаруживать непредвиденные коммуникации и запрашивать у пользователя согласие⁠.

Вы можете прочитать подробнее о Safe Url и ознакомиться с научной работой, описывающей его структуру, в специальной статье в блоге: Защита ваших данных, когда ИИ-агент переходит по ссылке⁠.

Безопасное взаимодействие с враждебным внешним миром необходимо для создания полностью автономных агентов. При интеграции ИИ-модели с прикладной системой мы рекомендуем задаться вопросом о том, какими средствами контроля должен обладать человек-оператор в аналогичной ситуации, и реализовать их. Мы ожидаем, что максимально интеллектуальная ИИ-модель сможет противостоять социальной инженерии лучше, чем человек-агент, однако это не всегда целесообразно или экономически эффективно в зависимости от конкретного приложения.

Мы продолжаем изучать последствия применения социальной инженерии против ИИ-моделей и методы защиты от нее, а также внедряем полученные результаты как в архитектуру безопасности наших приложений, так и в процесс обучения наших ИИ-моделей.

Сноски

Авторы

Thomas Shadwell, Adrian Spânu