Обновление о независимых оценщиках15.10.2026 03:00

В прошлом месяце мы взяли на себя обязательство обеспечить более тщательную независимую оценку наших моделей и практик безопасности третьими сторонами. Мы также подписали соглашение Белого дома о сверхинтеллекте, в котором компании обязались сотрудничать с независимыми внешними аудиторами или оценщиками. Сегодня мы объявляем о том, что предоставили команде METR, некоммерческой организации, оценивающей передовые модели ИИ, доступ к нашим системам на условиях, близких к тем, что действуют для сотрудников.

METR опубликует результаты оценок рисков. В течение последнего года мы сотрудничали с METR над несколькими проверками наших отчетов о рисках. Мы также работаем с SecureBio и Accenture в качестве оценщиков и проводим предварительные переговоры с несколькими другими организациями, в том числе с Hugging Face.

Здесь мы рассказываем о нашем подходе к сотрудничеству с оценщиками.

Зачем мы работаем с независимыми оценщиками

По мере того как модели становились всё мощнее, для них требовались более надежные меры защиты и более серьезная оценка рисков. Мы хотим нести публичную ответственность за принимаемые решения. Однако мы не можем обнародовать всю информацию, имеющую отношение к нашей работе по обеспечению безопасности. Часть сведений может оказаться полезной злоумышленникам или представлять коммерческую тайну — например, данные о вычислительных ресурсах или обучении. Поэтому мы предоставляем независимым оценщикам широкий доступ к нашей информации и просим их делиться подтверждающими данными и аргументированными выводами о рисках, связанных с разработкой наших моделей. Наша цель — сократить разрыв между пониманием оценщиками систем компании, работающей над передовыми моделями ИИ, и тем, как их понимает сама компания.

Для оценки передовых моделей оценщикам необходимы:

• Опыт оценки возможностей передовых моделей, в том числе понимание того, как оценка может дать сбой, например из-за имитации выравнивания.
• Независимость: оценщики не должны владеть долей в оцениваемой компании или зависеть от нее финансово либо в своей работе.
• Достаточный доступ для содержательной оценки рисков. Помимо доступа к новейшим моделям, оценщикам нужно понимать, как эти модели обучались, как работают наши меры защиты и многое другое.
• Свобода публиковать наблюдения и оценкимодели или процесса.

Хотя аналогия не вполне точна, банковский надзор устроен по схожему принципу. Банки лучше посторонних знают о собственных рисках, поэтому регуляторы направляют своих инспекторов работать непосредственно в крупнейших банках. Если принятие рисков банком может угрожать обществу, третьи стороны стараются выявить это заранее.

Для отрасли ИИ это шаг к эффективному надзору за безопасностью. Мы активно сотрудничаем с несколькими оценщиками и изучаем, какие форматы партнерства работают лучше всего. Мы намерены делиться новостями по мере развития этой работы.

Что мы подразумеваем под «доступом на условиях, близких к тем, что действуют для сотрудников»

Мы приняли в команду шестерых сотрудников METR и предоставили им корпоративное оборудование, рабочие места и доступ к внутренним инструментам и системам — примерно на том же уровне, что и у наших собственных команд по оценке рисков. За исключением нескольких четко определенных категорий (например, данных о клиентах, информации, защищенной адвокатской тайной, или сведений об архитектуре наших моделей), сотрудникам Anthropic рекомендуется делиться с ними информацией так же, как с коллегами, работающими над рисками, связанными с выравниванием моделей.1

METR опубликует свой анализ уровня рисков, инцидентов или практик в нашей компании. Anthropic не может наложить вето на публикацию, но вправе потребовать скрыть информацию, относящуюся к узким, заранее определенным категориям, подобным перечисленным выше. METR может публично охарактеризовать наши изъятия и сообщить, считает ли организация их обоснованными, если при этом не раскрывает скрытые сведения.

Наше сотрудничество с METR ограничено небольшой командой, работающей в соответствии с юридически обязательными соглашениями. Остальные сотрудники METR, в том числе исследователи, сотрудничающие с нами над другими проектами, не имеют доступа к работе этой команды. Встраивание оценщиков в компанию дает нескольким квалифицированным специалистам, работающим по стандартам безопасности Anthropic, возможность близко ознакомиться с тем, как мы действуем. Это не способ предоставить другим организациям доступ к нашей информации или данным наших клиентов и партнеров.

Другие партнерства с оценщиками

Мы работаем над несколькими другими партнерствами. Поскольку они пока находятся на раннем этапе, мы предоставляем этим оценщикам более ограниченный объем информации, а их права на публикацию также ограничены. В рамках этих первых проектов мы хотим убедиться, что партнеры защищают конфиденциальную информацию и располагают необходимыми ресурсами и опытом для оценки наших моделей. По мере развития партнерств и укрепления доверия мы надеемся предоставить большему числу независимых оценщиков полный доступ на условиях, близких к тем, что действуют для сотрудников.

Мы разрабатываем три уровня доступа для оценщиков. Со временем мы надеемся привлечь несколько оценщиков к работе на третьем уровне, чтобы каждая команда могла опубликовать собственный анализ нашего профиля рисков и ключевых решений.

На первом уровне оценщики проводят исследования рисков с четко ограниченными задачами. Мы сами определяем, какой доступ предоставить оценщику первого уровня, а публиковать результаты он может только с нашего разрешения.

На втором уровне оценщики могут публиковать материалы без нашего разрешения и получают доступ к большему объему информации. Мы по-прежнему можем требовать удалить отдельные категории сведений, однако оценщики вправе публиковать свое мнение о том, были ли наши изъятия обоснованными.

Третий уровень — это описанная нами схема сотрудничества с METR, предусматривающая доступ на условиях, близких к тем, что действуют для сотрудников, и права на публикацию, аналогичные правам второго уровня.

SecureBio сейчас работает на первом уровне. Организация проверяет главу о химическом и биологическом оружии в нашем августовском отчете о рисках, предварительно завершив и опубликовав пробный обзор нашего предыдущего отчета о рисках. После завершения этой проверки мы рассмотрим возможность перехода к проектам с расширенным доступом и правами на публикацию.

Совместно с Accenture и Faculty мы работаем над масштабным партнерством, которое включает оценку моделей и их тестирование на устойчивость к злоупотреблениям, проведение оценок выравнивания, проверку защитных механизмов моделей и развитие компетенций в обеих организациях.

Мы добровольно предоставляем оценщикам возможность работать в наших организациях и считаем, что так следует поступать каждой компании, разрабатывающей передовые модели ИИ.