Безопасность на пути к ОИИ26.03.2025 10:00

Мы делимся новостями, отражающими наш прогресс, динамику развития и долгосрочную приверженность обеспечению высочайшего уровня безопасности на нашем амбициозном пути к ОИИ (AGI).

Развитие нашей программы грантов по кибербезопасности
С момента запуска программы грантов по кибербезопасности два года назад⁠ мы рассмотрели более тысячи заявок и проспонсировали 28 исследовательских инициатив, получив ценные практические знания в таких областях, как промпт-инъекции, безопасная генерация кода и автономные средства киберзащиты.

Мы продолжаем финансировать смелые, инновационные проекты, направленные на развитие науки об ИИ и кибербезопасности.

Программа грантов по кибербезопасности теперь принимает заявки для более широкого спектра проектов. Приоритетные направления для новых заявок на гранты включают:

• Исправление ПО (патчинг): использование ИИ для обнаружения и устранения уязвимостей.
• Конфиденциальность моделей: повышение устойчивости к непреднамеренному раскрытию конфиденциальных данных обучения.
• Обнаружение и реагирование: улучшение возможностей обнаружения угроз и реагирования на них при столкновении с продвинутыми постоянными угрозами (APT).
• Интеграция безопасности: повышение точности и надежности интеграции ИИ с инструментами безопасности.
• Безопасность агентов: повышение устойчивости агентов ИИ к сложным атакам.

Мы также внедряем микрогранты для подачи высококачественных заявок. Это кредиты на использование API, предоставляемые исследователям для быстрого прототипирования инновационных идей и экспериментов в области кибербезопасности.

Если вы хотите принять участие, мы приглашаем вас подать заявку здесь⁠.

Исследования в области безопасности с открытым исходным кодом
В дополнение к программе грантов по кибербезопасности мы привлекаем исследователей и практиков со всего сообщества кибербезопасности. Это позволяет нам применять самые современные подходы и делиться своими выводами с теми, кто работает над созданием более безопасного цифрового мира. Для обучения наших моделей мы сотрудничаем со специалистами из академических, правительственных и коммерческих лабораторий, чтобы проводить бенчмаркинг пробелов в навыках и получать структурированные примеры продвинутых рассуждений в различных областях кибербезопасности. Такое сотрудничество принесло впечатляющие результаты в таких сферах, как безопасность кода — область, в которой мы стремимся быть лидерами отрасли благодаря способности нашей модели находить и устранять уязвимости в программном коде. Мы продемонстрировали внутренние возможности мирового уровня в этой области с лидирующими в отрасли баллами в публичных бенчмарках, обнаружили уязвимости в коде программ с открытым исходным кодом и будем публиковать уведомления о безопасности для соответствующих сторон, связанных с открытым исходным кодом, по мере их выявления и масштабирования.

Расширение нашей программы Bug Bounty
Наша программа поиска уязвимостей (Bug Bounty)⁠ вознаграждает исследователей безопасности за ответственное выявление уязвимостей и угроз в нашей инфраструктуре и продуктах. Мы совершенствуем программу, чтобы лучше противодействовать развивающимся угрозам.

Увеличение максимальных выплат по программе Bug Bounty
Мы существенно увеличиваем максимальную выплату за исключительные и уникальные критические находки до 100 000 долларов США (ранее — 20 000 долларов США). Это увеличение отражает нашу приверженность вознаграждению значимых и эффективных исследований в области безопасности, которые помогают нам защищать пользователей и поддерживать доверие к нашим системам.

Период бонусных поощрений
В честь расширения нашей программы поиска уязвимостей мы запускаем акции с ограниченным сроком действия. В течение этих периодов исследователи, отправляющие квалифицированные отчеты в определенных категориях, смогут претендовать на дополнительные денежные бонусы. Каждая акционная категория имеет четко определенные критерии соответствия и сроки, с которыми можно ознакомиться на нашей странице Bug Bounty Program⁠.

Угрозы безопасности постоянно эволюционируют, и по мере приближения к ОИИ мы ожидаем, что наши злоумышленники станут еще более настойчивыми, многочисленными и изощренными. В OpenAI мы проактивно адаптируемся различными способами, в том числе внедряя комплексные меры безопасности непосредственно в нашу инфраструктуру⁠ и модели.

Киберзащита на базе ИИ
Для защиты наших пользователей, систем и интеллектуальной собственности мы задействуем собственные ИИ-технологии для масштабирования киберзащиты. Мы разработали передовые методы обнаружения киберугроз и оперативного реагирования. Дополняя традиционные стратегии обнаружения угроз и реагирования на инциденты, наши агенты безопасности на базе ИИ помогают расширять возможности обнаружения угроз, обеспечивать быстрое реагирование на меняющуюся тактику злоумышленников и снабжать команды безопасности точной, применимой на практике аналитикой, необходимой для противодействия сложным кибератакам.

Непрерывное имитационное тестирование на проникновение (red teaming)
Мы заключили партнерское соглашение с компанией SpecterOps⁠, признанными экспертами в области исследований безопасности и проведения атакующих операций, с целью тщательной проверки нашей защиты посредством реалистичных имитируемых атак на всю нашу инфраструктуру, включая корпоративную, облачную и производственную среды. Эти регулярные оценки позволяют нам проактивно выявлять уязвимости, расширять возможности обнаружения и укреплять стратегии реагирования на сложные угрозы. Помимо таких проверок, мы также сотрудничаем в целях создания передовых обучающих программ для улучшения возможностей наших моделей в области дополнительных методов лучшей защиты наших продуктов и моделей.

Пресечение действий злоумышленников и проактивная борьба со злонамеренным использованием ИИ
Мы постоянно мониторим и пресекаем попытки злоумышленников использовать наши технологии в корыстных целях⁠. Когда мы выявляем угрозы в наш адрес — например, недавнюю целевую фишинговую кампанию, направленную против наших сотрудников⁠, — мы не просто защищаем себя, мы делимся приемами и методами (tradecraft) с другими лабораториями ИИ для укрепления нашей общей обороны. Делясь информацией о возникающих рисках и сотрудничая с представителями индустрии и государства, мы помогаем обеспечить безопасную разработку и развертывание технологий ИИ.

Обеспечение безопасности новых ИИ-агентов
По мере внедрения передовых агентов ИИ, таких как Operator⁠ и Deep Research⁠, мы инвестируем в понимание и минимизацию уникальных проблем безопасности и устойчивости, возникающих при работе с такими технологиями. Наши усилия включают разработку надежных методов выравнивания (alignment) для защиты от атак путем промпт-инъекций, укрепление безопасности базовой инфраструктуры и внедрение элементов контроля за поведением агентов для быстрого обнаружения и смягчения непреднамеренного или вредоносного поведения. В рамках этой работы мы создаем единый конвейер и модульный фреймворк для обеспечения масштабируемой видимости и соблюдения мер безопасности в режиме реального времени для различных действий и форм-факторов агентов.

Безопасность будущих проектов в сфере ИИ
Безопасность является краеугольным камнем при проектировании и реализации проектов в области ИИ следующего поколения, таких как Stargate⁠. Мы работаем с нашими партнерами над внедрением ведущих в отрасли практик безопасности, таких как архитектуры с нулевым доверием (zero-trust) и аппаратные решения безопасности. В тех областях, где мы существенно расширяем нашу физическую инфраструктуру, мы тесно сотрудничаем, чтобы гарантировать синхронное развитие физических средств защиты вместе с нашими возможностями ИИ. Эти стратегии включают внедрение передовых средств контроля доступа, комплексного мониторинга безопасности, криптографической защиты и многоуровневой обороны. Данные практики в сочетании с акцентом на безопасность цепочек поставок программного и аппаратного обеспечения помогают выстраивать фундаментальную безопасность с нуля.

Расширение нашей программы безопасности
Мы развиваем нашу программу безопасности по нескольким направлениям и ищем увлеченных инженеров в разные отделы. Если вы заинтересованы в защите OpenAI и наших клиентов — и в создании будущего безопасного и надежного ИИ, — мы будем рады услышать от вас отклик⁠!

Достижение нашей миссии требует большего, чем просто прорывных технологий. Оно требует надежных, постоянно совершенствующихся практик безопасности. По мере стремительного развития наших моделей (возможности наших технологий превосходят даже то, где мы находились шесть месяцев назад) наша ответственность за усиление мер безопасности возрастает пропорционально.

Сегодня мы обслуживаем более 400 миллионов активных пользователей еженедельно в компаниях, на предприятиях и в государственных структурах по всему миру. Такой масштаб накладывает важнейшее обязательство по защите систем, интеллектуальной собственности и данных, которые наши пользователи доверяют нам.

В OpenAI безопасность — это глубоко укоренившаяся приверженность принципам, которая укрепляется по мере развития наших моделей и продуктов. Мы по-прежнему полностью преданы проактивному, прозрачному подходу, основанному на тщательном тестировании, совместных исследованиях и четкой цели: обеспечении безопасной, ответственной и благотворной разработки ОИИ.