США разработали протокол на случай выхода ИИ-агентов из-под контроля
- NIST, АНБ и CISA опубликовали руководство с 10 практиками реагирования на инциденты при работе со сложными ИИ-системами.
- Рекомендации охватывают пять этапов: подготовку, обнаружение, реагирование, восстановление и отчётность.
- Документ объединяет существующие меры защиты и рекомендует рано сообщать об инцидентах и публиковать извлечённые уроки.
Почему это важно: Контрольный список призван помочь организациям готовиться к сбоям ИИ-агентов, быстрее выявлять опасное поведение и восстанавливать работу.
Национальный институт стандартов и технологий США (NIST), Агентство национальной безопасности США (АНБ) и Агентство по кибербезопасности и защите инфраструктуры США (CISA) опубликовали руководство «Ключевые практики готовности к инцидентам и реагирования на них при обучении и оценке сверхинтеллекта».
Документ описывает 10 практик для организаций, работающих со сложными ИИ-системами, которые могут действовать неожиданным или потенциально опасным образом. Авторы используют термин «сверхинтеллект» (SI) вместо искусственного интеллекта (AI) в соответствии с указом президента США № 14434.
Рекомендации охватывают 5 этапов. Подготовка предполагает инвентаризацию активов и рисков, многоуровневую защиту, ограничение привилегий, архитектуру нулевого доверия и контроль цепочек поставок. Обнаружение требует постоянного мониторинга поведения агентов и признаков компрометации. При инциденте необходимо изолировать затронутые системы, отозвать учётные данные, восстановить скомпрометированную среду, определить масштаб ущерба и установить первопричину, а не только устранить использованную уязвимость. На этапе восстановления организации должны заранее проверять процедуры возврата к штатной работе и документировать принятые решения, включая оставшиеся риски.
Последний этап — отчётность — включает уведомление всех затронутых сторон, выполнение обязательств по информированию государственных органов и публичное раскрытие сведений, когда это уместно. Руководство отдельно рекомендует как можно раньше сообщать о произошедших инцидентах и публиковать принятые меры и полученный опыт, полезные другим участникам отрасли. Все 5 этапов рассматриваются как единая система без выделения приоритетных направлений. Документ не предлагает принципиально новых методов защиты, а объединяет существующие практики в общий контрольный список, позволяющий организациям готовиться к сбоям ИИ-агентов, быстрее выявлять опасное поведение и восстанавливать работу после инцидентов.
© iXBT
