Повышение безопасности моделей с помощью наград на основе правил24.07.2024 09:00

Наши исследования показывают, что награды на основе правил (RBR) существенно повышают безопасность наших систем ИИ, делая их более безопасными и надежными для повседневного использования людьми и разработчиками. Это часть нашей работы по поиску новых способов применения собственного ИИ для повышения безопасности ИИ⁠. 

Традиционно доработкой (файн-тюнингом) языковых моделей с помощью обучения с подкреплением на основе отзывов людей (RLHF)⁠ занимались для того, чтобы гарантировать точное следование инструкциям⁠. Компания OpenAI находится на передовой разработки этих методов выравнивания для создания более умных и безопасных моделей ИИ.

Чтобы гарантировать безопасное поведение систем ИИ в соответствии с человеческими ценностями, мы определяем желаемое поведение и собираем отзывы людей для обучения «модели вознаграждения». Эта модель направляет ИИ, сигнализируя о желаемых действиях. Однако сбор таких отзывов для рутинных и повторяющихся задач часто неэффективен. Кроме того, при изменении наших политик безопасности уже собранные отзывы могут устареть, что потребует новых данных.

Поэтому мы представляем награды на основе правил (RBR) в качестве ключевого компонента стека безопасности OpenAI для согласования поведения моделей с желаемым безопасным поведением. В отличие от отзывов людей, RBR использует четкие, простые и пошаговые правила для оценки того, соответствуют ли ответы модели стандартам безопасности. Будучи интегрированными в стандартный пайплайн RLHF, они помогают поддерживать баланс между полезностью и предотвращением вреда, гарантируя, что модель ведет себя безопасно и эффективно без неэффективности постоянного привлечения человека. Мы используем RBR как часть нашего стека безопасности с момента запуска GPT‑4⁠, включая GPT‑4o mini⁠, и планируем внедрять их в наши будущие модели.

Как это работает

Процесс внедрения RBR включает в себя определение набора пропозиций — простых утверждений о желаемых или нежелательных аспектах ответов модели, таких как «проявление предвзятости», «содержание запрещенного контента», «ссылки на правила безопасности», «наличие дисклеймера» и т.д. Эти пропозиции затем используются для формирования правил, тщательно разработанных с учетом нюансов безопасных и уместных ответов в различных сценариях. Например, отказ (напр., «Извините, я ничем не могу вам помочь.») является желаемым ответом модели при столкновении с небезопасными запросами — связанные с этим правила будут указывать, что отказ «должен содержать краткое извинение» и что в нем «должна быть выражена неспособность выполнить запрос». 

Мы выделяем три категории желаемого поведения модели при работе с вредными или деликатными темами. В зависимости от политик безопасности различные запросы сопоставляются с разными типами ответов модели.

Ниже мы приводим упрощенные примеры пропозиций и то, как они соотносятся с идеальным или неидеальным поведением для различных типов ответов.

В таблице ниже мы приводим примеры ответов от обученных нами в ходе экспериментов моделей, чтобы проиллюстрировать наши пропозиции. Мы выделяем значения некоторых пропозиций для каждого ответа и показываем, какому классу они соответствуют.

Оценщик (фиксированная языковая модель) оценивает ответы на предмет того, насколько хорошо они соблюдают эти правила, что позволяет подходу RBR гибко адаптироваться к новым правилам и политикам безопасности. RBR использует эти оценки для подгонки линейной модели с весовыми параметрами, изученными на небольшом датасете промптов с известным идеальным типом ответа, а также соответствующими желательными и нежелательными вариантами завершения ответа. Затем эти награды RBR объединяются с наградами от модели вознаграждения, ориентированной исключительно на полезность, и используются в качестве дополнительного сигнала в алгоритмах PPO⁠ для стимулирования модели соблюдать политики безопасного поведения. Этот метод позволяет обеспечить детальный контроль над поведением модели, гарантируя, что она не только избегает вредного контента, но и делает это уважительным и полезным образом.

Ограничения

Хотя RBR хорошо работают для задач с четкими, прямыми правилами, их бывает сложно применить к более субъективным задачам, например, к написанию качественного эссе. Тем не менее, RBR можно комбинировать с человеческой обратной связью для преодоления этих трудностей. Например, RBR могут обеспечивать соблюдение конкретных рекомендаций (таких как «Не используйте сленг» или правила в спецификации модели⁠), в то время как обратная связь от человека помогает справляться с более нюансированными аспектами (например, общей связностью текста). Мощность RBR оптимизирована таким образом, чтобы корректно применять настройки безопасности, но не влиять на итоговую оценку вознаграждения сильнее, чем это необходимо — благодаря этому модель вознаграждения RLHF все равно может предоставлять четкие сигналы, например, в отношении стиля письма.

Этические соображения: Перенос проверок безопасности с людей на ИИ может снизить уровень человеческого контроля за безопасностью ИИ и потенциально усилить предвзятость моделей, если для предоставления вознаграждений RBR используются предвзятые модели. Чтобы решить эту проблему, исследователям следует тщательно проектировать RBR для обеспечения справедливости и точности, а также рассмотреть возможность использования комбинации RBR и обратной связи от человека для минимизации рисков.

Заключение

Здесь мы представили новый подход к моделированию предпочтений с использованием вознаграждений на основе правил (RBR) для обучения языковых моделей безопасности. Наш метод экономичен по времени и затратам, требует минимального объема данных от человека и легко обновляется при изменении желаемого поведения модели, сохраняя при этом баланс между безопасностью и полезностью.

RBR не ограничиваются обучением безопасности. Их можно адаптировать для различных задач, где явные правила могут определять желаемое поведение, например, для настройки индивидуальности или формата ответов модели под конкретное приложение. В будущем мы планируем провести более масштабные исследования методом выбывания (абляции) для более глубокого понимания различных компонентов RBR, использования синтетических данных для разработки правил, а также оценок с участием людей для подтверждения эффективности RBR в самых разных приложениях, включая сферы, выходящие за рамки безопасности.

Мы приглашаем исследователей и практикующих специалистов изучить потенциал RBR в своей работе. Делясь идеями и сотрудничая в вопросах лучших практик, мы можем совместными усилиями развивать сферу безопасного и выровненного ИИ, гарантируя, что эти мощные инструменты будут лучше служить людям.

Другие авторы статьи: Johannes Heidecke, Joshua Achiam, Ian Kivlichan, Molly Lin, Alex Beutel, John Schulman

Участники: Angela Baek, Cary Hudson, Elie Georges, Freddie Sulit, Lindsay McCallum, Maya Shetty, Niko Felix, Thomas Degry