Темы



OpenAI заявила, что поймала китайский стартап Moonshot AI на дистилляции скрытых рассуждений своих моделей

Коротко сгенерировано ИИ по тексту статьи
  • Кампания началась в начале июля; в пиковые двое суток OpenAI зафиксировала 16 тысяч запросов с более чем 4 тысяч аккаунтов.
  • OpenAI связала основной очаг активности с лицами, аффилированными с Moonshot AI, и подавила кампанию к 28 июля.
  • Для извлечения рассуждений злоумышленники манипулировали взаимодействием с моделями, не взламывая системы OpenAI.

Почему это важно: По данным OpenAI, извлечённые рассуждения позволяют воспроизводить способности моделей без дорогостоящей разработки и собственных механизмов безопасности, создавая риски для национальной безопасности и контроля над мощными ИИ-системами.

OpenAI сообщила, что выявила и пресекла скоординированную кампанию по извлечению защищённых логических рассуждений из своих моделей, центральный кластер которой ведёт к китайскому стартапу Moonshot AI, создателю ИИ-ассистента Kimi. Атака началась в первых числах июля, а в пиковый период за двое суток было зафиксировано 16 тысяч запросов, отправленных с более чем 4 тысяч учётных записей.

Всего компания обнаружила связанную активность в кластере, насчитывающем более 15 тысяч пользователей, и к 28 июля полностью подавила кампанию.

Эту операцию в OpenAI классифицировали как «состязательную дистилляцию»: метод, при котором выходные данные или цепочки рассуждений одной модели используются для обучения или улучшения другой. Извлечение скрытых ответов и рассуждений даёт конкурентам возможность воспроизводить продвинутые способности, не вкладываясь в дорогостоящую разработку и не создавая собственных механизмов безопасности, что несёт риски для национальной безопасности и контроля над мощными ИИ-системами.

OpenAI заявила, что поймала китайский стартап Moonshot AI на дистилляции скрытых рассуждений своих моделей
Источник изображения: сгенерировано Muse

Злоумышленники не взламывали шифрование, базы данных или хранилища диалогов OpenAI. Вместо этого они манипулировали взаимодействием с моделями так, чтобы скрытые внутренние рассуждения проявились в видимой для запрашивающего форме. В OpenAI подчеркнули, что не уверены, действовал ли один субъект во всех случаях, однако основной очаг активности приписан лицам, аффилированным с Moonshot AI.

Разоблачение состоялось спустя считанные недели после того, как конкурент OpenAI, компания Anthropic, обвинила ряд китайских разработчиков, включая Moonshot AI и Alibaba, в тайном использовании её модели Claude для обучения собственных систем. Информацией о нынешней атаке OpenAI поделилась с другими разработчиками через Frontier Model Forum и правительственные каналы обмена данными.

©  iXBT

Об этом также пишут