Обновленная информация о нашей практике обеспечения безопасности и защиты16.09.2024 13:00

Мы создали Комитет по безопасности и защите для выработки рекомендаций по принятию важнейших решений в области безопасности и защиты по мере того, как модели OpenAI достигают новых уровней возможностей и продолжают решать сложные задачи для людей по всему миру. В рамках одного из своих первоначальных мандатов Комитет по безопасности и защите провел 90-дневный обзор⁠ процессов и мер защиты, связанных с безопасностью, и представил свои рекомендации Совету директоров в полном составе. 

По итогам рассмотрения Советом директоров мы публикуем рекомендации Комитета по безопасности и защите в пяти ключевых областях, которые мы принимаем к исполнению. Сюда входят усовершенствования, которые мы внедрили для развития нашей практики⁠ в области управления, безопасности и защиты. 

1. Создание независимого управления в сфере безопасности и защиты
2. Усиление мер безопасности
3. Прозрачность нашей работы
4. Сотрудничество с внешними организациями
5. Унификация наших нормативно-правовых баз безопасности для разработки и мониторинга моделей

Комитет по безопасности и защите изучил критерии безопасности и защиты, которые OpenAI использовала для оценки готовности OpenAI o1⁠ к запуску, а также результаты оценок безопасности OpenAI o1. Мы стремимся постоянно совершенствовать наш подход к выпуску высокопроизводительных и безопасных моделей и ценим ту ключевую роль, которую Комитет по безопасности и защите сыграет в формировании будущего OpenAI.

1. Создание независимого управления в сфере безопасности и защиты

Комитет по безопасности и защите станет независимым наблюдательным комитетом Совета директоров, сосредоточенным на вопросах безопасности и защиты. Его возглавит Зико Колтер (Zico Kolter), директор Департамента машинного обучения Школы компьютерных наук Университета Карнеги — Меллона. В состав комитета также вошли Адам Д«Анджело (Adam D«Angelo), соучредитель и генеральный директор Quora, отставной генерал армии США Пол Накасоне (Paul Nakasone) и Николь Селигман (Nicole Seligman), бывший исполнительный вице-президент и главный юрисконсульт Sony Corporation. Комитет будет осуществлять надзор, в частности, за процессами безопасности и защиты, определяющими разработку и развертывание моделей OpenAI. 

Руководство компании будет информировать Комитет по безопасности и защите об оценках безопасности при выпуске крупных моделей, и он, наряду со всем Советом директоров, будет осуществлять надзор за запуском моделей, включая полномочия отложить выпуск до тех пор, пока проблемы безопасности не будут устранены. В рамках своей работы Комитет по безопасности и защите и Совет директоров изучили оценку безопасности релиза o1⁠ и продолжат регулярно получать отчеты о технических оценках текущих и будущих моделей, а также отчеты о постоянном мониторинге после релиза. Комитет по безопасности и защите также будет регулярно взаимодействовать с представителями групп OpenAI по безопасности и защите. Периодические брифинги по вопросам безопасности и защиты также будут предоставляться всему Совету директоров. 

2. Усиление мер безопасности

Кибербезопасность является важнейшим компонентом безопасности ИИ, и мы являемся лидерами в определении мер безопасности⁠, необходимых для защиты передового ИИ. Мы продолжим применять подход к мерам безопасности, основанный на оценке рисков, и развивать наш подход по мере изменения моделей угроз и профилей риска наших моделей. Мы работаем над расширением внутренней сегментации информации, привлечением дополнительных сотрудников для усиления круглосуточных групп по обеспечению безопасности и продолжением инвестиций в текущие инициативы по повышению безопасности исследовательской и продуктовой инфраструктуры OpenAI.

В рамках проверки, проведенной Комитетом по безопасности и защите, мы выявили дополнительные возможности для отраслевого сотрудничества и обмена информацией в целях повышения безопасности индустрии ИИ. Например, мы тщательно оцениваем возможность создания Центра обмена информацией и анализа («ISAC») для индустрии ИИ, чтобы обеспечить обмен данными об угрозах и информацией о кибербезопасности между организациями в секторе ИИ для повышения нашей общей устойчивости к киберугрозам.

3. Прозрачность нашей работы

Мы будем искать новые способы делиться информацией и рассказывать о нашей работе по обеспечению безопасности. Мы уже давно публикуем системные карты (system cards), в которых описываются возможности и риски наших моделей. Системная карта GPT‑4o⁠ и системная карта o1‑preview⁠ содержат исчерпывающую информацию о работе по безопасности, проделанной перед выпуском каждой модели, включая результаты внешнего тестирования на проникновение (red teaming) и научных оценок передовых рисков⁠ в рамках нашей структуры готовности (Preparedness Framework), а также обзор мер смягчения последствий, которые мы разработали для устранения ключевых областей риска. 

4. Сотрудничество с внешними организациями

Мы будем изучать новые возможности для независимого тестирования наших систем и возглавим движение за внедрение общеотраслевых стандартов безопасности. Например, мы уже развиваем новое сотрудничество с независимыми организациями по безопасности и негосударственными лабораториями для проведения независимых оценок безопасности моделей. Мы также работаем с правительственными ведомствами над развитием науки о безопасности ИИ. Это включает сотрудничество с Лос-Аламосской национальной лабораторией⁠ — одной из ведущих национальных лабораторий США — с целью изучения того, как ученые могут безопасно использовать ИИ в лабораторных условиях для продвижения биомедицинских исследований. Кроме того, мы недавно заключили соглашения с Институтами безопасности ИИ США и Великобритании⁠ о совместной работе над исследователем новыми рисками безопасности ИИ и стандартами надежного ИИ.

5. Унификация наших нормативно-правовых баз безопасности для разработки и мониторинга моделей

Обеспечение безопасности и защищенности наших моделей требует усилий множества команд по всей организации. По мере нашего роста и усложнения работы мы совершенствуем наши процессы и практику запуска моделей, чтобы создать интегрированную структуру безопасности и защиты с четко определенными критериями успешности запусков. Эта структура будет основываться на оценках рисков и утверждаться Комитетом по безопасности и защите. По мере того как модели становятся более способными, эта структура будет адаптироваться для управления возрастающей сложностью и рисками. Чтобы начать реализацию этой структуры, мы реорганизовали исследовательские группы, а также команды по безопасности и выработке политик, чтобы укрепить сотрудничество и обеспечить более тесные связи внутри компании.