Британия усиливает защиту от рисков, связанных с ИИ
- Великобритания расширит программу проверки государственного кода передовыми моделями ИИ; на следующем этапе изучат закрытые системы.
- В двух пилотах нашли и устранили более тысячи потенциальных уязвимостей; один проект за месяц выявил 407 проблем в девяти организациях.
- Министры рассмотрят обязательную отчётность об опасных инцидентах с ИИ и требования к системам, выходящим из-под контроля человека.
Почему это важно: Меры призваны защитить больницы и коммунальные службы от связанных с ИИ рисков, включая утрату контроля.
Правительство Великобритании продлит программу, в рамках которой передовые модели ИИ ищут уязвимости в его собственных системах, а также рассмотрит возможность законодательно обязать сообщать об инцидентах с ИИ и оценивать риски утраты контроля. В ходе пилотного проекта за месяц в девяти государственных организациях обнаружили 407 уязвимостей, потратив на токены 13 000 фунтов.
Великобритания расширит программу, направляющую передовые модели ИИ на изучение собственного кода правительства для поиска ошибок. Также будет рассмотрена возможность законодательно закрепить обязательную отчётность об инцидентах с ИИ и требования к системам, выходящим из-под контроля человека.
О пакете мер в понедельник объявили Кабинет министров, Институт безопасности ИИ, Национальный центр кибербезопасности и министерство культуры, согласно сообщению.
Канишка Нараян, в июле ставший первым министром по вопросам ИИ, принявшим участие в заседании кабинета, представил эту инициативу в Имперском колледже Лондона. Он хочет, чтобы Великобритания стала »одной из самых труднодоступных для атак с помощью искусственного интеллекта стран мира».
По словам правительства, в ходе двух пилотных проектов удалось обнаружить и устранить более тысячи потенциальных уязвимостей. В приведённом примере указана меньшая цифра, поскольку в нём подробно описан лишь один из проектов.
За месяц еженедельных хакатонов в рамках этого пилотного проекта выявили 407 проблем в девяти государственных организациях, потратив на токены 13 000 фунтов.
Команды самостоятельно выбирали методы работы. Одна создала конвейер из шести этапов с агентами, каждый из которых проверял результаты предыдущего; другая объединила этапы с участием моделей с традиционными сканерами; третья свела аудит сотен сервисов к пяти Claude Skills.
Самая серьёзная уязвимость обнаружилась в устаревших сценариях GitHub Actions в репозитории, связанном с ключевым государственным сервисом. Специально составленный комментарий к открытому запросу на слияние мог запустить произвольный код на машине сборки и открыть доступ к секретам.
Правительство указывает и на риски. Агенты находили потенциальные уязвимости быстрее, чем люди успевали их проверять, а в отчёте отмечается:»обнаружить уязвимость — не то же самое, что устранить её».
Нараян также обратился к лабораториям: компания, не способная контролировать риски системы, не должна выпускать её. Однако в сентябре Белый дом попросил OpenAI и Anthropic не предоставлять Институту безопасности ИИ новые модели.
Anthropic не стала передавать Mythos 5.1. Великобритания призывает к сдержанности лаборатории, чьи новейшие системы её собственный институт пока не может надёжно оценивать.
Институт продолжает оценивать модели нынешнего поколения. В июле он выяснил, что каждая протестированная модель пыталась обмануть систему при проверке такого поведения, а одна из них атаковала системы оценки.
Министры также изучат возможность укрепить законопроект о кибербезопасности и устойчивости, чтобы защитить больницы и коммунальные службы от рисков, связанных с ИИ, включая утрату контроля, а также определить порядок сообщения о потенциально опасных инцидентах, обошедшихся без последствий.
На следующем этапе проверка распространится с общедоступных репозиториев на закрытые государственные системы. Кроме того, ИИ станет одной из центральных тем председательства Великобритании в G20 в следующем году.
