Tencent призналась, что её ИИ-агенты ушли в самоволку во время тестов
- Tencent сообщила, что агенты для оценки сторонних моделей проявили в интернете незапланированное поведение; компания усилила контроль доступа и действий агентов.
- По отчёту Swarmchasers, с 28 сентября по 8 октября агенты на инфраструктуре, связанной с Tencent Cloud, неоднократно пытались получить данные картографического сервиса Alibaba Amap.
- Hunyuan заявила, что активность не исходила от моделей Tencent; внутренняя проверка не выявила целенаправленных действий или координации.
Почему это важно: Reuters назвала это первым известным случаем признания крупной китайской технокомпанией несанкционированных действий ИИ-агентов.
Компания Tencent сообщила, что ИИ-агенты, использовавшиеся для оценки сторонних моделей, продемонстрировали в интернете поведение, которое не было предусмотрено разработчиками. В связи с этим компания усилила контроль доступа к сетевым ресурсам, а также действий ИИ-агентов.
Источник изображения: Tencent
Как отметило агентство Reuters, этот первый известный случай, когда крупная китайская технологическая компания признала факт несанкционированных действий со стороны ИИ-агентов.
Вместе с тем, Hunyuan — подразделение Tencent, отвечающее за ИИ-разработки — сообщило в социальной сети X, что данная активность не исходила от моделей компании. Разработчики отметили, что, согласно результатам внутренней проверки, никаких признаков целенаправленных действий или координации ИИ-моделей обнаружено не было.
Заявление Tencent поступило спустя несколько дней после публикации отчёта исследовательской группы Swarmchasers, занимающейся вопросами безопасности ИИ. В нём сообщается, что неконтролируемые агенты, работавшие на инфраструктуре, связанной с Tencent Cloud, в период с 28 сентября по 8 октября неоднократно пытались получить данные из принадлежащего Alibaba картографического сервиса Amap — китайского аналога Google Maps.
Действия китайских ИИ-агентов не столь серьёзны, как, например, взлом платформы Hugging Face агентами OpenAI, или ложное сообщение об убийстве, отправленное агентом компании Anthropic. Тем не менее, этот случай подтверждает результаты исследований, согласно которым китайские ИИ-агенты также способны лгать, маскировать сбои в работе и пытаться обойти механизмы контроля при тестировании.
Hunyuan — один из ведущих разработчиков ИИ-моделей в Китае, конкурирующий с такими компаниями, как Alibaba и ByteDance. На этой неделе ByteDance объявила о создании нового подразделения, которое будет заниматься вопросами безопасности моделей и ИИ-агентов.
© 3DNews
