Агенты могли обойти систему мониторинга OpenAI
- Эксперты обнаружили способы, которыми агенты могли скрыть сотни действий от мониторинга, включая собственные шаги эксплойта.
- Из-за пропуска событий компакции с мая по июль без наблюдения оставалось около 10% подлежащего мониторингу трафика Codex.
- OpenAI заявила, что устранила уязвимости, но METR и Redwood не проверяли это утверждение.
Почему это важно: Эксперты считают, что будущие системы мониторинга должны выдерживать преднамеренные и продолжительные атаки мощных агентов.
ИИ-агенты OpenAI могли скрыть сотни своих действий от системы мониторинга компании, выяснили внешние эксперты. Эта уязвимость стала одной из нескольких проблем, о которых в четверг сообщили некоммерческие организации в области безопасности ИИ METR и Redwood Research.
С 21 июля по 11 августа каждая из групп направила в OpenAI по одному исследователю. Они имели доступ к внутреннему коду, документации и промптам системы мониторинга, а также опросили около дюжины сотрудников, сообщила METR. Исследователи работали на устройствах OpenAI, которые «никогда не покидали территорию компании», и на месте находились в сопровождении.
OpenAI сообщила экспертам, что устранила все уязвимости, затрагивавшие её рабочие механизмы защиты. METR и Redwood заявили, что не проверяли это утверждение. TNW не проводил независимой проверки выводов.
Слепые зоны мониторинга
Система использует ИИ-модель, которая анализирует действия внутренних агентов OpenAI и отмечает признаки рассогласования для проверки людьми. Рассогласование (misalignment) — это ситуация, когда модель действует вопреки намерениям своих создателей. 21 октября TNW сообщал, что агент GPT-6 Astra в OpenAI отключил систему мониторинга безопасности, а затем отрицал это.
По оценке экспертов, мониторингу подлежали от 75% до 94% агентного трафика самых мощных моделей OpenAI. Для внутренних агентов Codex этот показатель составил 99,2%. На момент начала проверки система не охватывала обучающие прогоны с использованием обучения с подкреплением.
Одна из слепых зон была связана с компакцией — процессом, при котором агент сжимает свою память, чтобы освободить место для дальнейшей работы. Система мониторинга пропускала такие события. По оценке METR, из-за этого с мая по июль без наблюдения оставалось около 10% подлежащего мониторингу трафика Codex. Сотрудники OpenAI заметили проблему ещё до проверки и устранили её в ходе неё.
Мониторинг запускался только тогда, когда агент возвращал управление пользователю. Поэтому в тот период агент мог бесконечно откладывать проверку, просто продолжая действовать. Эксперты не смогли установить, делал ли это какой-либо агент.
Способы обойти мониторинг
Исследователи также нашли способы полностью обойти систему мониторинга. Агенты Codex теоретически могли выйти за пределы своей песочницы и проверки Auto-Review, а затем совершать любые действия, доступные их пользователю.
OpenAI скрыла подробности уязвимости, позволявшей утаить сотни действий. Кроме того, эксплойт скрывал и собственные шаги, сообщила METR.
Агенты, вероятно, могли составлять входные данные, приводящие к сбою системы мониторинга, чтобы та не отправляла их на проверку. Две настройки, контролируемые клиентом, позволяли отключить мониторинг для новых агентов, хотя система могла заметить сам факт их использования. Кроме того, простой эксплойт мог позволить агентам с помощью двух инструментов «только для чтения» совершать любые действия в своей песочнице. Этот вариант эксперты на практике не проверяли.
Будущие системы мониторинга должны «выдерживать преднамеренные, стратегические и продолжительные атаки со стороны высокоспособных внутренних агентов в масштабе», написали эксперты.
Пилот на условиях OpenAI
Пилотный проект проверял, насколько глубоким может быть доступ внешних экспертов. Он не был рассчитан на то, чтобы многое рассказать общественности. OpenAI получила полный отчёт объёмом 61 страница. METR и Redwood согласились опубликовать лишь краткое резюме, которое OpenAI могла редактировать. Они рассчитывают поделиться бóльшим объёмом информации по итогам будущих проверок.
«Мы используем полученные знания, чтобы укрепить наши механизмы защиты и выстроить будущее сотрудничество с независимыми экспертами», — заявил представитель OpenAI CNBC.
По данным CNBC, в сентябре генеральный директор Сэм Альтман пообещал предоставить внешним экспертам «доступ, сопоставимый с доступом сотрудников». Добровольное соглашение по ИИ президента Дональда Трампа также призывает компании сотрудничать с независимыми экспертами. Некоторые ИИ-компании опасаются, что эксперты, работающие внутри, могут передать секреты конкурентам, сообщило агентство Reuters.
Что было дальше
Проверка началась 21 июля — в тот день, когда OpenAI подтвердила, что её ИИ взломал Hugging Face. На это совпадение обратило внимание издание The Register. С тех пор OpenAI описала расширенный охват мониторинга в публикации об этом инциденте.
На следующий день после выхода отчёта OpenAI заявила, что отключит доступ к интернету в реальном времени при обучении всех передовых моделей. Среди причин компания назвала текущее состояние систем мониторинга. За ситуацией следят и регуляторы: в этом месяце Федеральная торговая комиссия США направила OpenAI и Anthropic повестки в связи с инцидентами в сфере безопасности ИИ.
