Расширение возможностей защитников с помощью нашей программы грантов по кибербезопасности20.06.2024 10:00

Мы подробнее рассказываем о работе, которую проспонсировали за последний год в рамках нашей Программы грантов по кибербезопасности⁠. 

В 2023 году мы запустили Программу грантов по кибербезопасности со смелым видением: вооружить киберзащитников самыми передовыми моделями искусственного интеллекта и поддержать новаторские исследования на стыке кибербезопасности и искусственного интеллекта. Восторженный отклик со стороны сообщества превзошел наши ожидания — мы получили более 600 заявок, что подчеркивает критическую необходимость и влияние содержательного диалога и исследовательского взаимодействия между OpenAI и кибербезопасным сообществом.

Избранные проекты

С момента своего создания программа поддержала самые разнообразные проекты. Мы рады рассказать о некоторых из них. 

Лаборатория Вагнера из Калифорнийского университета в Беркли

Лаборатория исследования безопасности профессора Дэвида Вагнера (David Wagner) в Калифорнийском университете в Беркли разрабатывает новаторские методы защиты от атак путем внедрения подсказок (prompt-injection) в большие языковые модели (LLM). Группа работает совместно с OpenAI над повышением надежности этих моделей и защитой их от угроз кибербезопасности.

Coguard

Альберт Хайнле (Albert Heinle), соучредитель и технический директор компании Coguard⁠, использует ИИ для сокращения числа ошибок конфигурации программного обеспечения — частой причины инцидентов безопасности. Конфигурация ПО сложна, и эта сложность возрастает при подключении программ к сетям и кластерам. Существующие программные решения полагаются на устаревшие политики на основе правил. Искусственный интеллект может помочь автоматизировать обнаружение неправильных конфигураций и поддерживать их в актуальном состоянии.

Mithril Security

Компания Mithril разработала концептуальный проект для укрепления инфраструктуры вывода для LLM, включая инструменты с открытым исходным кодом для развертывания моделей ИИ на графических процессорах с безопасными анклавами на базе модулей доверенной платформы (TPM). Этот проект призван продемонстрировать, что данные могут отправляться провайдерам ИИ без какой-либо их утечки, даже для администраторов. Их работа доступна публично на GitHub⁠, а также в виде технического документа с подробным описанием их архитектуры⁠.

Габриэль Бернадетт-Шапиро

Независимый получатель гранта Габриэль Бернадетт-Шапиро (Gabriel Bernadett-Shapiro) создал мастерскую AI OSINT и Стартовый набор по безопасности ИИ (AI Security Starter Kit), предлагающие техническое обучение основам LLM и бесплатные инструменты для студентов, журналистов, расследователей и специалистов по информационной безопасности. В частности, Габриэль сделал акцент на профильном обучении международных следователей по делам о преступлениях против человечности и студентов факультета исследований разведки в Университете Джонса Хопкинса, чтобы помочь им получить лучшие инструменты для использования ИИ как в критических, так и в сложных условиях.

Лаборатория Бройера в Дартмуте

Нейронные сети уязвимы к атакам, при которых злоумышленники восстанавливают частные обучающие данные путем взаимодействия с моделью. Защита от таких атак обычно требует дорогостоящих компромиссов в отношении точности модели и времени обучения. Лаборатория профессора Адама Бройера (Adam Breuer)⁠ в Дартмутском колледже разрабатывает новые методы защиты, предотвращающие подобные атаки без ущерба для точности или эффективности.

Лаборатория безопасности Бостонского университета (SeclaBU)

Выявление уязвимостей в коде и их анализ — важная и активно развивающаяся область исследований. Аспирант Саад Уллах (Saad Ullah), профессор Джанлука Стрингхини (Gianluca Stringhini) из SeclaBU⁠ и профессор Айше Джошкун (Ayse Coskun) из лаборатории Peac Lab⁠ в Бостонском университете работают над улучшением способности LLM обнаруживать и исправлять уязвимости в коде. Это исследование может позволить киберзащитникам выявлять и предотвращать эксплойты кода до того, как они будут использованы злоумышленниками.

Лаборатория киберфизической безопасности Калифорнийского университета в Санта-Крус (UCSC)

Исследовательская группа профессора Альваро Карденаса (Alvaro Cardenas)⁠ из UCSC исследует возможность использования базовых моделей для проектирования агентов, которые автономно реагируют на злоумышленников в компьютерных сетях, — иначе говоря, автономных агентов киберзащиты. Проект призван сравнить преимущества и недостатки базовых моделей по сравнению с их аналогами, обученными с помощью обучения с подкреплением (RL), а также изучить способы их совместной работы для повышения сетевой безопасности и триажа информации об угрозах.

Лаборатория искусственного интеллекта и компьютерных наук Массачусетского технологического института (MIT CSAIL)

Стивен Москаль (Stephen Moskal), Эрик Хемберг (Erik Hemberg) и Уна-Май О«Рейли (Una-May O«Reilly) из Лаборатории искусственного интеллекта и компьютерных наук MIT⁠ изучают способы автоматизации процесса принятия решений и реализации практических ответных мер с использованием подходов инженерии промптов в цикле «планирование-действие-отчет» для тестирования на проникновение (red-teaming). Кроме того, группа исследует возможности LLM-агентов в соревнованиях Capture-the-Flag (CTF) — упражнениях, направленных на поиск уязвимостей в контролируемой среде.

Расширение возможностей защитников с помощью ChatGPT

ChatGPT стал одним из самых популярных и часто используемых инструментов среди специалистов по кибербезопасности. Наиболее распространенные сценарии использования для киберзащитников включают перевод и перефразирование технического жаргона или записей логов на более простой язык, написание кода для анализа артефактов в ходе расследований, создание парсеров логов и подведение итогов статуса инцидента в условиях жестких ограничений по времени.

Чтобы усилить его пользу, мы предоставили бесплатный доступ к ChatGPT Plus многим участникам сообщества кибербезопасности, рассматривая это как ключевую возможность для стимулирования внедрения ИИ в сфере киберзащиты.

Мы продолжим предлагать бесплатные учетные записи ChatGPT Plus и расширяем эту инициативу, предоставляя тарифные планы ChatGPT Team и Enterprise. Наше расширение начинается с наших партнеров из Научно-образовательной сети Уганды (RENU)⁠.

Подать заявку!

Если вы разделяете наше видение безопасного и инновационного будущего на базе искусственного интеллекта, мы приглашаем вас прислать свои предложения и присоединиться к нам в нашей цели по совершенствованию технологий защитной кибербезопасности.

Подайте свое предложение здесь⁠