Пресечение вредоносного использования ИИ связанными с государством хакерскими группировками14.02.2024 08:00

Мы создаем инструменты на базе искусственного интеллекта, которые улучшают качество жизни и помогают решать сложные задачи, однако мы понимаем, что злоумышленники иногда пытаются использовать наши инструменты во вред другим, в том числе для проведения киберопераций. Среди таких злоумышленников группы, поддерживаемые государствами и имеющие доступ к передовым технологиям, крупным финансовым ресурсам и квалифицированному персоналу, могут представлять особую угрозу для цифровой экосистемы и благополучия людей.

В партнерстве с Microsoft Threat Intelligence мы пресекли деятельность пяти связанных с государствами группировок, которые пытались использовать ИИ-сервисы для поддержки вредоносной кибердеятельности. Мы также излагаем наш подход к обнаружению и нейтрализации таких участников в целях содействия обмену информацией и повышения прозрачности их действий.

Пресечение деятельности хакерских группировок

На основе сотрудничества и обмена информацией с Microsoft мы пресекли деятельность пяти связанных с государствами злоумышленников: двух группировок, связанных с Китаем и известных как Charcoal Typhoon и Salmon Typhoon; группировки, связанной с Ираном и известной как Crimson Sandstorm; группировки, связанной с Северной Кореей и известной как Emerald Sleet;, а также группировки, связанной с Россией и известной как Forest Blizzard. Выявленные учетные записи OpenAI, связанные с этими участниками, были заблокированы.

Эти группировки в целом стремились использовать сервисы OpenAI для поиска информации из открытых источников, перевода, поиска ошибок в коде и выполнения базовых задач по программированию.

В частности:

• Charcoal Typhoon использовала наши сервисы для исследования различных компаний и инструментов кибербезопасности, отладки кода и создания скриптов, а также для создания контента, вероятно, предназначенного для фишинговых кампаний.
• Salmon Typhoon использовала наши сервисы для перевода технических документов, сбора общедоступной информации о различных разведывательных агентствах и региональных угрозах, помощи в написании кода и исследования распространенных способов скрытия процессов в системе.
• Crimson Sandstorm использовала наши сервисы для поддержки написания скриптов, связанных с разработкой приложений и веб-сайтов, создания контента для целевых фишинговых (spear-phishing) кампаний, а также для изучения распространенных способов обхода обнаружения вредоносного ПО.
• Emerald Sleet использовала наши сервисы для поиска экспертов и организаций, занимающихся вопросами обороны в Азиатско-Тихоокеанском регионе, понимания общедоступных уязвимостей, помощи в базовых задачах по написанию скриптов и подготовки черновиков контента, который мог бы использоваться в фишинговых кампаниях.
• Forest Blizzard использовала наши сервисы в основном для исследований по открытым источникам в области протоколов спутниковой связи и радиолокационных технологий визуализации, а также для поддержки задач по написанию скриптов.

Дополнительные технические детали о характере этих группировок и их деятельности можно найти в блоге Microsoft⁠, опубликованном сегодня.

Деятельность этих участников согласуется с предыдущими оценками «красной команды» (red team)⁠, которые мы провели в партнерстве с внешними экспертами по кибербезопасности. Они показали, что GPT‑4 предлагает лишь ограниченные и незначительные возможности для выполнения вредоносных задач в сфере кибербезопасности по сравнению с тем, что уже доступно с помощью общедоступных инструментов без использования ИИ_._

Комплексный подход к безопасности искусственного интеллекта

Хотя возможности наших текущих моделей для решения вредоносных задач в сфере кибербезопасности ограничены, мы считаем важным опережать значительные и развивающиеся угрозы. Чтобы противодействовать им, мы применяем комплексный подход к борьбе с использованием нашей платформы поддерживаемыми государствами злоумышленниками:

• Мониторинг и пресечение деятельности связанных с государствами злоумышленников. Мы инвестируем в технологии и команды для выявления и пресечения деятельности сложных хакерских группировок. Наши команды по анализу интеллекта и расследованиям, безопасности, защиты и целостности исследуют действия злоумышленников различными способами, включая использование наших моделей для преследования зацепок, анализа того, как противники взаимодействуют с нашей платформой, и оценки их более широких намерений. При обнаружении нарушений OpenAI принимает соответствующие меры для пресечения их деятельности, такие как отключение учетных записей, прекращение предоставления услуг или ограничение доступа к ресурсам.
• Взаимодействие с экосистемой искусственного интеллекта. OpenAI сотрудничает с партнерами по индустрии и другими заинтересованными сторонами для регулярного обмена информацией об обнаруженном использовании ИИ поддерживаемыми государствами злоумышленниками. Это сотрудничество отражает наше добровольное обязательство⁠ содействовать безопасной, защищенной и прозрачной разработке и использованию технологий искусственного интеллекта, а также нацелено на продвижение коллективного реагирования на риски в масштабах всей экосистемы посредством обмена информацией.
• Совершенствование мер безопасности на основе итераций. Обучение на опыте реального использования (и злоупотреблений) является ключевым компонентом создания и выпуска все более безопасных систем ИИ с течением времени. Мы используем уроки, извлеченные из случаев злоупотреблений со стороны этих группировок, для совершенствования нашего итеративного подхода к безопасности. Понимание того, как наиболее изощренные злоумышленники пытаются использовать наши системы во вред, дает нам представление о практиках, которые могут получить более широкое распространение в будущем, и позволяет нам постоянно совершенствовать наши механизмы защиты.
• Публичная прозрачность. Мы уже давно стремимся привлекать внимание к потенциальным злоумышленникам в сфере ИИ [ссылка 1⁠, ссылка 2⁠] и делиться с индустрией и общественностью тем, что мы узнали⁠ о безопасности [ссылка 1, ⁠ссылка 2]⁠. В рамках наших постоянных усилий по продвижению ответственного использования ИИ компания OpenAI будет и впредь информировать общественность и заинтересованные стороны о характере и масштабах использования ИИ связанными с государствами злоумышленниками, выявленного в наших системах, а также о принятых против них мерах, когда это оправданно. Мы верим, что открытость и прозрачность способствуют повышению осведомленности и готовности всех заинтересованных сторон, что ведет к усилению коллективной обороны против постоянно развивающихся противников.

Подавляющее большинство людей используют наши системы для улучшения своей повседневной жизни: от виртуальных репетиторов для студентов до приложений, способных описывать мир для людей с нарушениями зрения. Как и во многих других экосистемах, здесь есть небольшое число злоумышленников, требующих постоянного внимания, чтобы все остальные могли и дальше пользоваться преимуществами технологии. Хотя мы работаем над минимизацией потенциальных злоумышленников такого рода, мы не сможем остановить каждый отдельный случай. Но благодаря постоянным инновациям, расследованиям, сотрудничеству и обмену информацией мы делаем так, чтобы злоумышленникам было сложнее оставаться незамеченными в цифровой экосистеме, и улучшаем опыт работы для всех остальных.