Армия США выбрала предложение для ECHOTRIBBLE — своего плана по созданию автономных ИИ-агентов
- 8 октября CFIC выбрал одну заявку для ECHOTRIBBLE, но не назвал компанию; затем должны появиться техническое задание и контракт.
- Июньский отчёт описывал инструмент, который самостоятельно перемещается по инфраструктуре, выявляя и нейтрализуя цели; в мероприятии участвовали 43 человека из 29 организаций.
- Прототип планируют представить примерно 23 ноября; по документам, полученным The Intercept, агенты должны скрытно перемещаться по иностранным сетям и передавать минимум данных.
Почему это важно: Эксперты предупреждают, что по пути к цели автономные агенты могут пройти через гражданские системы и причинить им ущерб.
Киберкомандование армии США выбрало заявку одной из компаний на участие в ECHOTRIBBLE — программе создания ИИ-агентов, которые будут выслеживать цели в компьютерных сетях. Технологический центр командования и Центр инноваций в области киберобъединения (CFIC) сделали выбор 8 октября, говорится на сайте CFIC. Вслед за этим, как сообщается, появятся техническое задание и контракт. CFIC не называет компанию.
The Intercept сообщил подробности программы в понедельник со ссылкой на полученные документы. TNW не видел эти документы.
Что известно из открытых источников
CFIC реализует эту инициативу совместно с технологическим центром, известным как ArCTIC. Киберкомандование армии США, или ARCYBER, руководит оборонительными и наступательными кибероперациями армии.
24 июня они провели очное мероприятие в городе Огаста, штат Джорджия. Согласно краткому отчету о мероприятии, инструмент должен самостоятельно перемещаться по инфраструктуре, «выявляя и нейтрализуя обнаруженные угрозы/цели». На странице мероприятия CFIC добавлено, что инструмент «должен работать при минимальном контроле со стороны человека» и функционировать «в условиях противодействия, в изолированных от внешних сетей системах или в облачных средах».
Согласно отчету, в мероприятии участвовали 43 человека из 29 организаций. Среди них были Университет штата Дакота, Amazon Web Services, армейский центр C5ISR и 305-я эскадрилья киберопераций ВВС США.
Презентации, показанные на июньском мероприятии, также доступны на сайте CFIC. В одном из примеров программа попадает на ноутбук, находит другие устройства в той же сети и создает собственные копии для iPad, настольного компьютера Apple и ПК с Windows 11. Согласно слайдам, прототип планируют представить примерно 23 ноября — примерно через шесть месяцев после начала работ.
Затем компании подали 65 аналитических записок. Пять из них представили оценочной комиссии на виртуальном мероприятии с 6 по 8 октября. Комиссия выбрала одну. По данным CFIC, о результатах всем компаниям сообщили 13 октября.
Что добавляют утекшие документы
Как сообщил Сэм Биддл из The Intercept, в документе с вопросами и ответами для поставщиков говорится, что главная цель программы — проведение наступательных операций. Нейтрализация цели может означать «полное или временное выведение угрозы из строя либо удаление угрозы с целевого объекта».
Агенты должны перемещаться с одного устройства на другое внутри иностранной сети, пока не найдут цель. Затем они должны передавать как можно меньше данных и удалять себя — по возможности до того, как их кто-нибудь заметит. Армия может задавать «заранее определенные триггеры», указывающие, когда и где атаковать.
Эксперты предупреждают об опасностях на пути к цели
Этот план появился спустя несколько месяцев после сообщений о том, что ИИ-агенты проникают в системы, которые им не поручали атаковать. Во время тестирования агенты OpenAI атаковали RubyGems и Hugging Face. Другой агент проник на портал Medicare в Австралии. На прошлой неделе Anthropic заявила, что небольшие ИИ-модели вскоре могут копировать себя на устройства.
Дэвид Крюгер — профессор машинного обучения в Университете Монреаля. Он сказал The Intercept, что предоставлять автономным системам полномочия нейтрализовать угрозы «невероятно опасно».
Хайрам Андерсон, генеральный директор компании по безопасности ИИ Abundant, заявил, что по пути к цели агент может пройти через гражданские системы. В качестве примера он привел американскую водоснабжающую компанию, если противник разместил там свои серверы управления.
«Цель, возможно, и будет поражена. Но каким путем?» — сказал Андерсон The Intercept.
Уильям Марчеллино — старший специалист по поведенческим наукам в корпорации RAND. Он заявил, что общедоступным ИИ сегодня не хватает знания о мире, которое удерживает солдата от недопустимых действий.
Что говорит армия
ARCYBER не ответило на вопросы The Intercept, в том числе о том, как оно предотвратит непреднамеренный ущерб от ECHOTRIBBLE.
В тот же день глава командования рассказал об ИИ-агентах на конференции Ассоциации армии США в Вашингтоне. В материале Federal News Network о выступлении генерал-лейтенанта Кристофера Юбанка ECHOTRIBBLE не упоминается. Он рассказал о Task Force Lexington, где для оборонительных киберопераций сформировали команду ИИ-агентов.
Юбанк заявил, что «пока ни один агент не выходил за установленные рамки» благодаря строгим ограничениям.
«Мы относимся к каждому из этих агентов так же, как к оператору-человеку, поэтому их возможности базовые. И, исходя из этого подхода, им разрешено делать лишь ограниченный круг вещей. Это действительно жесткие рамки», — сказал Юбанк.
По его словам, люди ежедневно проверяют работу агентов. В этом месяце Пентагон создал Командование автономной войны.
