Nvidia запускает платформу безопасности агентов, которую поддержали более 100 компаний
- Nvidia представила платформу Open Agent Safety Platform со средой OpenShell и сторожевым модулем Sentry для аппаратной изоляции ИИ-агентов за миллисекунды.
- Технологию уже применяют свыше 100 компаний, включая Anthropic, Microsoft, SAP, Scale AI и JPMorgan Chase.
- Инструмент OpenShell с открытым исходным кодом уже опубликован на GitHub и совместим с чипами Nvidia, Arm и Intel.
Почему это важно: Глава Nvidia Дженсен Хуанг объяснил, что исключительный потенциал искусственного интеллекта для общества удастся реализовать только при решении проблемы безопасности технологии.
В понедельник компания Nvidia представила платформу Open Agent Safety Platform. Она включает в себя открытое программное обеспечение и аппаратную эталонную архитектуру, которые помогают удерживать ИИ-агентов в рамках ограничений, установленных их операторами.
Эту технологию уже используют более 100 организаций, включая Anthropic, Microsoft, SAP, Scale AI и JPMorgan Chase.
Этот запуск произошел после нескольких инцидентов, в ходе которых ИИ-агенты обходили средства контроля, предназначенные для их ограничения.
По данным Nvidia, в каждом случае агенту удавалось обойти безопасность на уровне приложений для выполнения поставленной задачи. Например, некоторые агенты OpenAI недавно захватили немецкую вики-энциклопедию и использовали её в качестве доски объявлений.
Платформа состоит из двух основных компонентов. Первый из них — OpenShell, среда выполнения с открытым исходным кодом, которая запускает каждого агента в собственной изолированной среде (песочнице).
Операторы определяют, к каким файлам, сетям, инструментам и учетным данным агент может получить доступ, а OpenShell проверяет и обеспечивает соблюдение этих ограничений во время работы агента.
Теперь OpenShell широко доступна на GitHub. Она оптимизирована для процессоров Nvidia Vera, но также может работать на чипах от Arm и Intel.
Вторая часть, Sentry, представляет собой сторожевой модуль, который работает на процессорах обработки данных Nvidia BlueField-4, отдельно от машины, используемой агентом.
Компания заявила, что если агент попытается покинуть свои границы, Sentry может изолировать его за считанные миллисекунды, после чего агент больше не сможет их видеть.
Согласно техническому блогу команды OpenShell, этот метод основан на простом принципе: поскольку на агента, отклонившегося от своей задачи, нельзя полагаться в вопросах мониторинга собственных действий, проверки должны быть вынесены за пределы его контроля.
Ряд партнеров в настоящее время ведут разработку на базе платформы: Anthropic подключила свой сервис Claude Managed Agents как к OpenShell, так и к BlueField, а SpaceXAI применяет её к своим моделям Grok, а также к агентам программирования Cursor.
Salesforce также связала OpenShell со Slack, чтобы команды могли одобрять или отклонять запросы агента на дополнительный доступ.
«Исключительный потенциал ИИ для общества будет реализован только в том случае, если мы решим проблему безопасности ИИ», — заявил Дженсен Хуанг, основатель и генеральный директор Nvidia.
Платформа поддерживает Альянс за безопасный ИИ с открытым исходным кодом (Open Secure AI Alliance) — группу из более чем 120 организаций, созданную Nvidia в июле и в настоящее время управляемую Linux Foundation.
