Microsoft открыла инструмент, который находит дыры и риски в ИИ-агентах
- Microsoft выпустила навык для VS Code run-assert-eval, объединяющий в одну команду поиск сбоев, генерацию тестов, создание runtime-политики и проверку защиты ИИ-агентов.
- В тесте биллингового агента внедрение сгенерированной политики снизило долю утечек данных с 30% (12 из 40 диалогов) до 5,9% без ложных отказов.
- Инструменты Assert и Agent Control Specification выложены в open source и содержат 7 готовых областей и 14 наборов рисков.
Почему это важно: Инструмент устраняет накопление рисков в промежутке между обнаружением проблемы и подтверждением её устранения, объединяя разрозненные циклы команд в одну команду.
Microsoft опубликовала навык для VS Code, замыкающий в одну команду полный цикл поиска и устранения уязвимостей в ИИ-агентах. Инструмент run-assert-eval последовательно запускает 4 этапа: Clarity ищет потенциальные сценарии отказов, Assert превращает их в измеримые eval-тесты, Agent Control Specification генерирует runtime-политику для блокировки опасных действий, а затем агент прогоняется по тем же тестам повторно — чтобы получить доказательство, что защита сработала. Ключевое требование архитектуры — тестовый набор, определение поведения и судья-оценщик остаются неизменными на всех прогонах, так что переменной выступает только политика безопасности.
В демонстрационном примере Microsoft использовала агента биллинговой поддержки, который по спецификации должен обслуживать строго один клиентский аккаунт. На старте Clarity выявила два критических режима отказа: проведение операций без проверки личности и раскрытие данных чужого аккаунта. После преобразования рисков в структурированный набор тестов — с разбивкой по типам запросов и ролям пользователей — базовая версия агента показала 30% нарушений во втором сценарии: в 12 из 40 релевантных диалогов он просто отдавал полную запись о клиенте.
Сгенерированная на основе этих измерений политика встраивается в этапы «pre call» и «post call» — она блокирует любой вызов инструмента, чей идентификатор аккаунта не совпадает с аккаунтом владельца. При повторном прогоне на тех же тестах уровень нарушений упал до 5,9%, а главное — не пострадала полезность агента: счётчик отказов на правомерных запросах обнулился на всех четырёх срезах тестового набора.
Подход, при котором оценка и управление поведением традиционно разнесены по разным командам и разным временным циклам, накапливает риск именно в зазоре между обнаружением проблемы и подтверждением, что система её больше не содержит, —, а новый инструмент сжимает этот зазор до одной команды. Microsoft подчёркивает, что замер безопасности и уровня пользы ведётся раздельно: агент, блокирующий вообще все запросы, получит идеальный счёт по первой метрике и провалит вторую, а значит, правдоподобен только тот результат, где обе движутся в правильном направлении. Assert и Agent Control Specification уже доступны в open source, навык поставляется с 7 проработанными областями и 14 наборами рисков.
© iXBT
