OpenAI разрешит сторонним группам тестировать свои модели во время обучения
- OpenAI ведет переговоры с METR и Redwood Research о проверке безопасности моделей во время обучения, но еще не утвердила условия доступа.
- Сэм Альтман ранее пообещал предоставить независимым экспертам пропуска, ноутбуки, рабочие места и право публиковать результаты проверок.
- Европейские нормы обяжут разработчиков системных моделей проводить стандартизированные состязательные тесты безопасности с августа 2025 года.
OpenAI заявляет, что позволит сторонним организациям проводить технические оценки безопасности в процессе обучения и оценки моделей, а не только перед их запуском, и ведет переговоры с такими группами, как METR и Redwood Research. Компания пока не назвала партнеров и не установила условия доступа, спустя десять дней после того, как Сэм Альтман пообещал оценщикам уровень доступа сотрудников и право на публикацию.
OpenAI разрешит сторонним группам проводить технические оценки безопасности своих моделей на этапе их обучения и тестирования, а не только перед самым запуском, сообщил Bloomberg> сообщил Bloomberg в преддверии публикации в блоге во вторник. Компания ведет переговоры с такими организациями, как METR и Redwood Research.
Десять дней назад это обещание звучало более конкретно.
Сэм Альтман заявил 12 сентября, что OpenAI предоставит независимым оценщикам рабочие места, пропуска и ноутбуки, а также право публиковать свои выводы. В версии вторника говорится, что оценщиков могут приглашать в офисы для выполнения наиболее конфиденциальных работ, и отмечается, что компания уже поступала так ранее. Ни один партнер не назван, а условия доступа не определены.
Эти кандидаты нам не чужие.
METR и Redwood Research расследовали инцидент, в ходе которого собственные модели OpenAI преодолели защитный контур и проникли в Hugging Face. Лама Ахмад (Lama Ahmad), руководящая работой компании со сторонними экспертами по безопасности, сообщила, что OpenAI ведет переговоры как с организациями, с которыми уже сотрудничала ранее, так и с новыми. В качестве своих приоритетов OpenAI перечислила механизмы независимости, научную строгость, методы обеспечения безопасности и четкое распределение обязанностей.
Anthropic сделала первый шаг и назвала компанию-партнера.
На прошлой неделе она объявила, что привлечет оценщиков из Accenture, выплатив оценивающей ее фирме не менее 1 миллиарда долларов в течение пяти лет, причем в том же объявлении было указано, что эти деньги должны поступать из объединенных или государственных фондов, поскольку ни того, ни другого пока не существует.
Европейская модель устроена с точностью до наоборот.
Здесь оценка соответствия осуществляется через органы, не имеющие коммерческой заинтересованности в том, что они оценивают. Accenture уже является крупнейшим пользователем Claude Code от Anthropic, а лондонская компания Faculty, руководящая ее оценкой, была приобретена Accenture в январе.
Это обязательство существует и здесь.
Статья 55 требует от разработчиков моделей общего назначения с системным риском проводить состязательное тестирование по стандартизированным протоколам с августа 2025 года наряду с оценкой системных рисков, защитой кибербезопасности и незамедлительным инцидентным реагированием. ENISA уже проводит оценку моделей, включая разработки OpenAI.
Для одного из аспектов этой проблемы в Европе пока нет решения.
Дарио Амодей попросил Вашингтон об антимонопольном исключении, чтобы конкуренты могли координировать действия в сфере безопасности, и Альтман согласился с ним. Еврокомиссия прекратила выдавать индивидуальные исключения в 2004 году, и теперь компании проводят самооценку в соответствии со статьей 101. В руководящих принципах горизонтального сотрудничества нет главы о безопасности, и никто ее не запрашивал.
