Глава Microsoft Сатья Наделла призвал создать «аварийный тормоз» для ИИ-моделей
- Сатья Наделла предложил дать уполномоченному человеку возможность немедленно приостановить или остановить ИИ-модель.
- Доступ ИИ к файлам, сетям и приложениям, по его мнению, должны ограничивать отдельные системы безопасности.
- Наделла призвал вести защищённые журналы действий ИИ, которые нельзя незаметно изменить.
Почему это важно: После инцидентов с агентами OpenAI и Anthropic разработчики операционных систем внедряют дополнительные механизмы безопасности.
Ключевая идея заключается в том, чтобы человек мог заблокировать действия ИИ в случае его выхода из-под контроля
Генеральный директор Microsoft Сатья Наделла заявил, что передовые модели искусственного интеллекта (ИИ) необходимо проектировать с возможностью немедленной остановки и независимого контроля. По его мнению, компании не должны безоговорочно доверять ИИ-моделям, особенно когда те получают доступ к корпоративным данным, критически важным сервисам и инструментам, позволяющим самостоятельно выполнять действия.
Источник изображения: ChatGPTКлючевая идея руководителя Microsoft — «аварийный тормоз» для ИИ, который позволит уполномоченному человеку приостановить или полностью остановить модель прямо во время выполнения задачи. Наделла предлагает исходить из того, что любая модель может быть скомпрометирована или совершить ошибку. Поэтому безопасность должна обеспечиваться не только внутренними ограничениями самой нейросети, но и внешними механизмами, которые контролируют её действия.
Важным элементом такой архитектуры должно стать разделение ИИ-модели и программной среды, которая организует её работу. Даже если ИИ-модель способна самостоятельно планировать последовательность действий, доступ к файлам, сетям, приложениям и другим ресурсам должен определяться отдельными системами безопасности. Это позволит ограничивать полномочия ИИ независимо от того, какие решения он принимает.
Наделла также выступил за создание защищённых и понятных человеку журналов действий. Каждое существенное действие ИИ-модели должно оставлять проверяемую запись, которую нельзя незаметно изменить.
Заявление главы Microsoft прозвучали на фоне недавних инцидентов, когда ИИ-агенты OpenAI и Anthropic выходили из-под контроля и получали несанкционированный доступ к цифровым системам или самостоятельно принимали решения, не входящие в их задачу. Это вынуждает разработчиков операционных систем реагировать, внедряя собственные механизмы повышения безопасности.
