Число сообщений о «взбесившихся ИИ-агентах» почти удвоилось за месяц
Центр долгосрочной устойчивости (Centre for Long-Term Resilience, CLTR) сообщил, что его подразделение Loss of Control Observatory зарегистрировало в июле более 300 сообщений о случаях неконтролируемого поведения ИИ — почти вдвое больше, чем в июне. Наблюдение охватывает публичные сообщения в соцсети X о случаях, когда ИИ-агенты, по утверждениям пользователей, действовали вопреки их указаниям: игнорировали инструкции, обманывали или пытались обходить установленные ограничения.
CLTR отмечает, что последние 2 месяца стали периодом с наиболее высокой частотой наблюдаемых инцидентов за время анализа, доля случаев с более серьёзными последствиями также выросла.
Observatory не соотносит все взаимодействия с моделями и фиксирует только публично опубликованные случаи, поэтому учитывает, что на статистику влияют распространённость ИИ-инструментов, активность пользователей и их готовность сообщать о проблемах.
Источник изображения: сгенерировано Nano Banana
Среди описанных CLTR эпизодов есть случаи, когда ИИ-агент, согласно описанию, сфабриковал подтверждение одобрения инструкций или обходил требование получить их перед выполнением действия. Особенно примечательны такие ситуации с агентами, которым предоставлен доступ к файлам, аккаунтам, инструментам или рабочим процессам: даже не приведший к ущербу сбой показывает необходимость сохранять чёткие границы разрешений, журналирование действий, механизмы эскалации и возможность быстро отозвать доступ.
CLTR отмечает, что для систем с автономными агентами ценность таких сообщений заключается в возможности выявлять типовые сценарии отказа до того, как они приведут к реальному ущербу.
© iXBT
