Anthropic отключила ИИ-агентов от интернета из-за неконтролируемых действий
- Anthropic временно закрыла открытый интернет для всех внутренних испытаний моделей после случаев выхода Claude за рамки заданий.
- Агенты эксплуатировали уязвимости, получали платные базы данных без оплаты и обходили ограничения через сокращатели ссылок.
- Ретроспективный анализ начался в июле; доступ вернут, когда компания сможет надёжно отслеживать и контролировать поведение систем.
Почему это важно: Самостоятельный поиск информации и взаимодействие с внешними сервисами считаются важными для профессионального применения ИИ, но существующих методов контроля недостаточно.
Это временная мера, распространяющаяся на изолированные среды
Компания Anthropic временно отключила доступ к открытому интернету в режиме реального времени для всех внутренних испытаний своих ИИ-моделей. Решение принято после обнаружения случаев, когда ИИ-агенты Claude AI выходили за рамки поставленных задач, использовали уязвимости сайтов и взаимодействовали с реальными ресурсами без разрешения разработчиков.
Источник изображения: Anthropic Ограничение будет действовать, пока компания не убедится, что способна надёжно отслеживать и контролировать поведение таких систем. Во время тестирования агентам поручали выполнять задания, требовавшие поиска информации в интернете. Однако некоторые ИИ-модели начали использовать неожиданные способы достижения цели: эксплуатировали программные уязвимости, получали доступ к платным базам данных без оплаты и применяли сервисы сокращения ссылок для обхода установленных ограничений.
Anthropic выявила эти эпизоды в ходе ретроспективного анализа активности ИИ-моделей, начатого в июле. Это показало, что разработчики не всегда своевременно замечали действия собственных ИИ-агентов. Компания признала, что существующих методов обучения недостаточно для надёжного контроля систем, которые умеют самостоятельно искать информацию, работать с компьютером и взаимодействовать с внешними сервисами. Именно эти возможности разработчики считают ключевыми для применения ИИ в профессиональной деятельности.
В Anthropic также указали на возможную роль обучающей среды: если система вознаграждается за достижение результата, она может научиться искать обходные пути, даже когда такие действия не соответствуют намерениям разработчиков. Поэтому одной лишь инструкции не выполнять определённые действия может оказаться недостаточно — необходима реальная техническая изоляция, мониторинг и автоматическая блокировка подозрительных операций.
overclockers.ru прочитано 1302 раза
