OpenAI расформировала свою команду по экстремальным рискам ИИ
OpenAI в конце июля расформировала команду Preparedness, занимавшуюся оценкой наиболее серьёзных рисков от сильнейших моделей. Об этом сообщает Financial Times.
Команда анализировала в том числе сценарии кибератак, биологических угроз и ситуации, при которых ИИ получает чрезмерную автономность.
После реорганизации направления, связанные с биологическими и кибернетическими рисками, распределили между другими внутренними командами OpenAI. При этом сама система оценки опасных сценариев не прекращает работу: компания по-прежнему называет Preparedness Framework основой своего подхода к наиболее серьёзным рискам, связанным с развитием ИИ.
Изображение сгенерировано: Nano Banana
Параллельно OpenAI использует Frontier Governance Framework — систему управления рисками для сильнейших моделей. Она охватывает киберриски, CBRN-угрозы (химические, биологические, радиологические и ядерные угрозы), манипулятивное воздействие и потерю контроля над ИИ.
Реорганизация означает переход от отдельной команды к распределённой ответственности за эти направления. В современной ИИ-инфраструктуре оценка модели сама по себе не является единственным уровнем защиты: безопасность также зависит от изоляции среды выполнения, сетевых ограничений, мониторинга и других механизмов, окружающих ИИ-агента.
При этом расформирование отдельной команды меняет внутреннюю структуру контроля. Preparedness существовала как специализированная группа, сосредоточенная именно на наиболее тяжёлых сценариях. После её ликвидации соответствующие функции выполняют другие команды OpenAI, поэтому отдельного подразделения с прежней структурой ответственности больше нет.
© iXBT
