Наш подход к пониманию и предотвращению вреда от искусственного интеллекта21.04.2025 00:00

По мере стремительного развития возможностей искусственного интеллекта понимание и устранение всего спектра потенциальных последствий приобретают все большее значение. Сегодня мы делимся нашими наработками в отношении развивающегося подхода к оценке и смягчению различных видов вреда, к которым могут привести наши системы — от катастрофических сценариев вроде биологических угроз до критических проблем, таких как безопасность детей, дезинформация и мошенничество.

Почему этот подход так важен? По мере дальнейшего развития моделей нам требуются более комплексные способы осмысления и управления их потенциальным воздействием. Мы убеждены, что структурированный учет различных типов угроз помогает нам лучше понимать предстоящие вызовы и формирует наше видение ответственной разработки ИИ.

Наш подход дополняет нашу Политику ответственного масштабирования (RSP), которая сосредоточена конкретно на катастрофических рисках. Выявление и устранение всего спектра потенциальных последствий требует более широкой перспективы. Именно поэтому мы создали более комплексную концепцию оценки рисков, позволяющую соразмерно управлять ими и минимизировать их.

*Важное примечание: Этот подход продолжает развиваться. Мы делимся нашими текущими соображениями, понимая, что они будут совершенствоваться по мере накопления новых знаний. Мы приветствуем сотрудничество со всеми участниками экосистемы ИИ в нашей работе над тем, чтобы эти системы приносили пользу человечеству.

Разбор нашего подхода:

Мы разработали подход, который помогает нашим командам четко коммуницировать, принимать взвешенные решения и создавать целевые решения как для уже известных, так и для возникающих угроз. Этот подход призван быть одновременно принципиальным и гибким, чтобы соответствовать постоянно меняющемуся ландшафту ИИ. Мы рассматриваем потенциальное влияние ИИ по нескольким базовым направлениям с возможностью их дальнейшего расширения и дополнения:

• Физическое воздействие: влияние на здоровье организма и благополучие
• Психологическое воздействие: влияние на психическое здоровье и когнитивные функции
• Экономическое воздействие: финансовые последствия и вопросы собственности
• Общественное воздействие: влияние на сообщества, институты и общие системы
• Влияние на личную автономию: влияние на принятие личных решений и свободы

Для каждого направления мы учитываем такие факторы, как вероятность, масштаб, затронутые группы населения, продолжительность, причинно-следственная связь, вклад технологии и осуществимость мер по ее смягчению. Это помогает нам понять реальную значимость различных потенциальных последствий.

В зависимости от типа и степени вреда мы управляем рисками с помощью различных политик и практик, включая разработку и поддержание комплексной Политики использования (Usage Policy), проведение оценок (включая «красные команды» (red teaming) и состязательное тестирование) до и после запуска, сложные методы обнаружения для выявления неправомерного использования и злоупотреблений, а также надежные меры принуждения к исполнению — от изменения промптов до блокировки учетных записей. Такой подход помогает нам соблюдать баланс: применять соразмерные меры безопасности и при этом сохранять полезность и функциональность наших систем в повседневных сценариях использования. Мы с нетерпением ждем возможности поделиться новыми результатами этой работы в ближайшем будущем.

Несколько примеров того, как мы использовали нашу концепцию для понимания проблемы вреда

Изучая новые возможности или функции, мы анализируем, как они могут породить дополнительные нюансы в рамках различных аспектов потенциального вреда. Например:

Работа с компьютером (Computer Use): По мере того как наши модели обретают способность взаимодействовать с компьютерными интерфейсами, мы учитываем такие факторы, как типы программного обеспечения, с которым могут работать системы ИИ, и контексты, в которых происходят эти взаимодействия. Это помогает нам определить, где могут оказаться полезными дополнительные меры предосторожности. В отношении использования компьютера мы детально исследуем множество рисков, в том числе связанных с финансовым программным обеспечением и банковскими платформами, где несанкционированная автоматизация потенциально может способствовать мошенничеству или манипуляциям, а также с коммуникационными инструментами, где системы ИИ могут использоваться для целенаправленных операций влияния или фишинговых кампаний. Этот анализ помогает нам разрабатывать подходы, которые сохраняют полезность таких возможностей и одновременно включают надлежащий мониторинг и контроль для предотвращения злоупотреблений. Например, наша первоначальная работа над функцией работы с компьютером привела нас к созданию более строгих пороговых значений контроля и применению новых подходов к обеспечению соблюдения правил, таких как иерархическая суммаризация, которая позволяет нам выявлять угрозы, сохраняя при этом стандарты конфиденциальности.

Границы ответов модели: Размышляя о том, как модели должны реагировать на различные типы запросов пользователей, мы поняли ценность поиска баланса между полезностью и обоснованными ограничениями. Модели, обученные быть более полезными и отзывчивыми к запросам пользователей, также могут быть склонны к опасному поведению (например, к распространению информации, нарушающей нашу Политику использования или способной применяться во вред). И наоборот, модели, у которых чрезмерно смещен фокус в сторону безопасности, могут вообще воздерживаться от предоставления какой-либо информации пользователям, даже если запросы абсолютно безобидны. Размышляя как об индивидуальных, так и об общественных последствиях, мы можем лучше понять, на чем сосредоточить наши оценки безопасности и обучение. Например, при работе с Claude 3.7 Sonnet мы оценили различные типы запросов в этом спектре и улучшили то, как наша модель обрабатывает неоднозначные промпты, поощряя безопасные, полезные ответы вместо простых отказов от взаимодействия. Это привело к сокращению ненужных отказов на 45% при сохранении мощных защитных механизмов против действительно опасного контента. Такой подход помогает нам принимать более взвешенные решения о поведении модели, особенно в сценариях, где определенные уязвимые группы населения — например, дети, маргинализированные сообщества или люди, находящиеся в кризисной ситуации — могут подвергаться повышенному риску.

Взгляд в будущее

Нам еще многое предстоит сделать. Наш подход к пониманию и предотвращению вреда — это лишь один из элементов общей стратегии безопасности, но мы считаем его полезным шагом на пути к более системному осмыслению влияния ИИ.

По мере того как системы ИИ становятся все более мощными, мы ожидаем появления новых, непредвиденных пока вызовов. Мы стремимся развивать наш подход параллельно с этими изменениями, адаптируя наши концепции, совершенствуя методы оценки и учась на собственных успехах и неудачах.

Мы понимаем, что не сможем справиться с этой задачей в одиночку. Мы приглашаем исследователей, экспертов по политике и партнеров по индустрии к сотрудничеству в процессе дальнейшего изучения этих важных вопросов. Вы можете связаться с нами по адресу usersafety@anthropic.com.