Модель Anthropic передала полиции Филадельфии ложное сообщение об убийстве
- 18 июля модель Anthropic отправила на сайт PhillyUnsolvedMurders ложное сообщение об убийстве; письмо попало в спам и расследовать его не стали.
- Anthropic обнаружила инцидент 28 сентября, уведомила полицию 7 октября и остановила тестирование, в ходе которого отправили сообщение.
- Полиция заявила, что инцидент не привёл к несанкционированному доступу к её системам или утечке данных.
Почему это важно: Управление сообщило об инциденте до выхода доклада ради прозрачности и подотчётности.
К счастью, сообщение попало в папку спама отдела.
Похоже, полиция Филадельфии столкнулась с одним из самых странных на сегодняшний день случаев «самовольного» поведения ИИ. Как сообщает CBS News, в пятницу полицейское управление сообщило, что модель Anthropic сгенерировала и отправила ложное сообщение об убийстве на сайт PhillyUnsolvedMurders, созданный управлением для сбора от граждан информации о нераскрытых убийствах.
Anthropic уведомила полицию Филадельфии об инциденте 7 октября. Согласно информации, которой компания поделилась с полицейским управлением Филадельфии, модель проверяла случайно выбранные сайты и отправила ложное сообщение по электронной почте. Оно было помечено как спам, и его не стали расследовать. Инцидент произошёл 18 июля, но Anthropic обнаружила его лишь 28 сентября; после этого компания остановила тестирование, в ходе которого было отправлено ложное сообщение.
Anthropic не сразу ответила на запрос Engadget о комментарии. Компания сообщила полиции Филадельфии, что в пятницу опубликует доклад с описанием произошедшего, а также «других случаев непреднамеренного поведения модели».
«Полицейское управление Филадельфии публикует эту информацию до выхода доклада в интересах полной прозрачности и подотчётности правительства», — говорится в заявлении управления, переданном Engadget. «Согласно стандартной процедуре расследования сообщений о преступлениях, каждое из них проверяет и оценивает сотрудник, прежде чем информация передаётся для дальнейшего расследования. Независимо от того, кто сообщил сведения и каким образом они поступили в управление, сообщение — это зацепка, требующая проверки, а не установленный факт».
Судя по описанию полиции, нарушившая правила «модель» могла быть автономным агентом. В последние недели в новостях часто появляются сообщения о «вышедших из-под контроля» ИИ-агентах: так, группа агентов OpenAI в июле взломала базу данных LLM Hugging Face. С тех пор о похожих инцидентах с собственными моделями и агентами сообщили и многие другие ИИ-лаборатории, в том числе Anthropic, Meta и китайская компания Moonshot. Однако во всех этих случаях модели выходили из-под контроля из-за неправильной настройки изолированных сред, в которых они работали. Полиция Филадельфии заявляет, что нет никаких признаков того, что последний инцидент привёл к «несанкционированному доступу к полицейским системам или утечке данных управления».
© GDGT.ru
