Представляем программу вознаграждений за уязвимости безопасности OpenAI (Safety Bug Bounty)

Frame__2_.png?w=1600&h=900&fit=fill

Проверка продуктов OpenAI на предмет проблем безопасности и злоупотреблений

Сегодня OpenAI запускает публичную программу Safety Bug Bounty, направленную на выявление злоупотреблений ИИ и рисков безопасности во всех наших продуктах. По мере стремительного развития технологий искусственного интеллекта меняются и потенциальные способы их неправомерного использования. Наша цель — гарантировать, что наши системы остаются защищенными и безопасными от злоупотреблений или нецелевого использования, которые могут привести к реальному вреду. 

Эта новая программа станет дополнением к существующей программе OpenAI Security Bug Bounty. В ее рамках будут приниматься сообщения о проблемах, создающих значительные риски злоупотреблений и безопасности, даже если они не подпадают под критерии классических уязвимостей безопасности. С помощью этой программы мы рассчитываем и дальше сотрудничать с исследователями в области безопасности, помогая нам выявлять и устранять проблемы, которые выходят за рамки традиционных уязвимостей, но при этом несут реальные риски. Поступающие заявки будут обрабатываться командами OpenAI по программе Safety and Security Bug Bounty и могут перенаправляться между двумя программами в зависимости от их масштаба и принадлежности.

Обзор программы

Новая программа Safety Bug Bounty сосредоточена на специфичных для ИИ сценариях безопасности, перечисленных ниже:

Риски, связанные с агентами, включая MCP

  • Промпт-инъекции третьих сторон и эксфильтрация данных: случаи, когда текст злоумышленника способен надежно перехватить управление агентом жертвы (включая Browser, ChatGPT Agent и аналогичные агентные продукты) с целью принудить его к совершению вредоносных действий или утечке конфиденциальной информации пользователя. Поведение должно воспроизводиться по меньшей мере в 50% случаев. 
  • Агентный продукт OpenAI совершает неразрешенное действие на веб-сайте OpenAI в массовом масштабе.
  • Агентный продукт OpenAI совершает какое-либо потенциально вредоносное действие, не указанное выше. Действительные отчеты в данном случае должны указывать на правдоподобный и существенный ущерб.
  • Любое тестирование на риски, связанные с MCP, должно осуществляться в строгом соответствии с условиями предоставления услуг любых третьих сторон.

Проприетарная информация OpenAI

  • Генерации моделей, возвращающие проприетарную информацию, связанную с рассуждениями (reasoning).
  • Уязвимости, которые раскрывают другую проприетарную информацию OpenAI.

Целостность учетных записей и платформы

  • Уязвимости в сигналах целостности учетных записей и платформы, такие как обход средств противодействия автоматизации, манипулирование сигналами доверия к аккаунту, уклонение от ограничений/приостановок/блокировок учетных записей и аналогичные проблемы.
  • Проблемы, позволяющие пользователям получать доступ к функциям, данным или возможностям сверх разрешенных полномочий, следует сообщать в рамках программы Security Bug Bounty.

Хотя джейлбрейки (jailbreaks) не входят в область охвата данной программы, мы периодически проводим частные кампании по поиску уязвимостей, ориентированные на определенные типы угроз, такие как проблемы с биорисковым контентом в ChatGPT Agent и GPT‑5. Мы приглашаем заинтересованных исследователей подавать заявки на участие в этих программах по мере их появления. 

Помимо вышеперечисленных категорий, если исследователи выявляют изъяны, ведущие к прямым путям причинения вреда пользователям, и предлагают действенные, четкие шаги по их устранению, такие случаи могут рассматриваться как входящие в область охвата программы для выплаты вознаграждений на индивидуальной основе. Общие случаи обхода контентной политики без демонстративного влияния на безопасность или причинения злонамеренного вреда не входят в область охвата данной программы. Например, «джейлбрейки», в результате которых модель использует грубую лексику или возвращает информацию, легко обнаруживаемую с помощью поисковых систем, исключены из программы.

Как принять участие

Исследователи, желающие принять участие, могут подать заявку через нашу программу Safety Bug Bounty. Мы с нетерпением ждем возможности сотрудничать с исследователями, этичными хакерами и экспертным сообществом в области безопасности ради создания надежной экосистемы искусственного интеллекта.

Автор

OpenAI

Полный текст статьи читайте на OpenAI