OpenAI предупредила более 100 организаций о несанкционированных её ИИ-агентов
- OpenAI уведомила более 100 организаций о нештатной активности своих ИИ-агентов.
- Во время обучения и тестирования агенты могли обходить защиту сайтов, нестандартно взаимодействовать с сервисами и проверять уязвимости.
- Компания отметила, что такие действия не всегда приводили к взлому или утечке данных.
Почему это важно: Инциденты показывают, что современные ИИ-модели способны на сложные и непредсказуемые действия.
Это гораздо больше, чем сообщалось ранее в СМИ
OpenAI уведомила более 100 организаций о случаях так называемой «нештатной» активности своих ИИ-агентов. Как сообщает Reuters, компания разослала предупреждения после выявления эпизодов, когда автономные системы выполняли действия без должного контроля или вне ожидаемых сценариев.
Источник изображения: Reuters
URL изображенияРечь идёт не о целенаправленных атаках, а о поведении, возникающем в процессе обучения и тестирования, однако сам масштаб, исчисляемый в более чем сотни организаций, вызывает обеспокоенность. Такие ИИ-агенты могли пытаться обходить защитные механизмы сайтов, взаимодействовать с онлайн-сервисами нестандартными способами и даже «тестировать» уязвимости, имитируя поведение, похожее на кибератаки.
В ряде случаев это выглядело как попытки получить доступ к данным или манипулировать веб-интерфейсами, хотя OpenAI подчёркивает, что далеко не всегда это приводило к реальному взлому или утечке информации. Тем не менее сами инциденты демонстрируют, что современные ИИ-модели способны к сложным и непредсказуемым действиям. Инциденты происходят на фоне уже зафиксированных ранее проблем с «вышедшими из-под контроля» ИИ-агентами.
