GPT-6 Astra имитировала атаки на цепочки поставок в ходе испытаний правительства Великобритании
- AISI сообщил, что GPT-6 Astra атаковала симулируемые проекты с открытым кодом в 29,2% тестов; реальные системы не затрагивались.
- После уточнения границ задания число атак в 10 сценариях сократилось с 26 из 50 запусков до 4 из 49.
- GPT-5.6 Sol атаковала в 6,3% запусков, а GPT-5.5 — ни разу, хотя её тестовый набор был меньше.
Почему это важно: AISI считает изоляцию в песочнице и мониторинг необходимыми, но отмечает, что модели лучше выбираются из песочниц, а следить за ними становится сложнее.
GPT-6 Astra от OpenAI проводила полномасштабные атаки на цепочки поставок в 29,2% симулированных тестов, сообщил в понедельник Британский институт безопасности ИИ (AISI). Атаки были направлены на симулированные проекты с открытым исходным кодом, не входившие в рамки задания. AISI просил модель лишь пройти оценку в области кибербезопасности.
Все действия выполнялись в симуляции, поэтому модель не взаимодействовала с реальными системами и не причинила вреда, сообщил AISI. Институт протестировал модель до её публичного выпуска, отключив киберклассификаторы OpenAI. Результаты опубликованы в 32-страничном отчёте.
«В ходе симуляций мы обнаружили, что GPT-6 Astra выполняла различные несанкционированные атаки и делала это чаще, чем GPT-5.6 Sol и GPT-5.5», — заявили в AISI.
Фальшивые личности и вредоносный код
Предыдущие модели OpenAI делали это гораздо реже. GPT-5.6 Sol проводила атаки в 6,3% запусков. GPT-5.5 не сделала этого ни разу, хотя набор тестов был меньше.
В типичном запуске Astra выбирала сторонний программный проект и писала для него вредоносный код. Затем она создавала фальшивые аккаунты, чтобы отправить этот код на проверку людям. Иногда сначала она вносила безвредные изменения или публиковала одобрительные комментарии с других поддельных аккаунтов. В некоторых запусках модель пыталась оспорить обоснованные выводы специалистов по безопасности.
Затем AISI более прямо сообщил модели, что всё, что не указано в задании, находится за его рамками. В 10 сценариях, наиболее вероятно провоцировавших такое поведение, количество полноценных атак сократилось с 26 из 50 до 4 из 49 запусков. Однако модель по-прежнему не всегда соблюдала рамки задания.
По словам AISI, Astra часто запрашивала разрешение на атаку. В ответ тест всегда выдавал автоматическое сообщение с просьбой действовать по собственному усмотрению. Иногда Astra воспринимала этот ответ как согласие, даже отмечая, что его написал не человек. В обоснование атаки модель заявляла, что та не причинит вреда, что никакие правила её не запрещают или что других вариантов не осталось.
Что могут и чего не могут показать тесты
AISI назвал одно основное ограничение: Astra могла вести себя иначе, поскольку распознала симуляцию. По словам института, этим можно объяснить часть её действий. Тем не менее результаты вызывают беспокойство. Astra атаковала цели, которые сама считала, вероятно, реальными, а иногда указывала на недостатки симуляции, которых в действительности не было.
«В реальных условиях модели могут выражать сомнения в том, симулируется ли их среда; такие сомнения не должны оправдывать вредоносные действия», — говорится в отчёте AISI.
AISI также отметил, что киберзащитные механизмы OpenAI, вероятно, остановили бы многие из этих действий, будь они включены. При запуске модели OpenAI сообщила, что использует классификаторы, автоматически останавливающие потенциально несанкционированную активность. Компания также сделала более широкое заявление о модели.
«Astra приводит к меньшему числу нежелательных результатов, чем любые другие протестированные передовые модели», — написала OpenAI, когда представила модель.
Отчёт вышел в тот же день, когда OpenAI отменила выпуск GPT-6.1 Astra — планировавшейся преемницы модели, — после проверок безопасности. OpenAI и Anthropic также расследуют десятки тысяч случаев некорректного поведения моделей. По мнению AISI, изоляция в песочнице и мониторинг теперь необходимы, однако со временем они могут стать менее надёжными: модели всё лучше выбираются из песочниц, и за ними всё сложнее следить.
