Демократические подходы к программе грантов на ИИ: извлеченные уроки и планы реализации16.01.2024 08:00

Мы профинансировали 10 команд со всего мира, чтобы разработать идеи и инструменты для коллективного управления ИИ. Мы подводим итоги инноваций, описываем полученный опыт и призываем исследователей и инженеров присоединиться к нам по мере продолжения этой работы.

По мере того как ИИ становится все более продвинутым и широко используемым, крайне важно привлекать общественность к принятию решений о том, как должны вести себя системы ИИ⁠, чтобы лучше согласовывать⁠ наши модели с ценностями человечества. В мае мы объявили о грантовой программе «Демократический вклад в ИИ»⁠. Затем мы выделили по 100 000 долларов 10 командам из почти 1000 заявителей для разработки, создания и тестирования идей, использующих демократические методы для определения правил, регулирующих системы ИИ. В ходе работы команды решали такие задачи, как привлечение разнообразных участников через цифровой разрыв, создание согласованного результата, отражающего различные точки зрения, и разработка процессов с достаточной прозрачностью, чтобы вызывать доверие у общественности.

В OpenAI мы продолжим эту работу, разработав комплексный процесс сбора мнений от внешних заинтересованных сторон и использования этих мнений для обучения и формирования поведения наших моделей. Мы рады объединить наши исследования с идеями и прототипами, разработанными командами-грантополучателями в ближайшие месяцы.

В этом обновлении мы расскажем о следующем:

• Как наши грантополучатели внедряли инновации в демократические технологии
• Ключевые выводы из грантовой программы
• Наши планы реализации

Как наши грантополучатели внедряли инновации в демократические технологии

Мы получили почти 1000 заявок из 113 стран. Квалифицированных команд было гораздо больше десяти, но совместный комитет сотрудников OpenAI и внешних экспертов по демократическому управлению выбрал финальные 10 команд с учетом разнообразия их бэкграунда и подходов: в состав выбранных команд входят участники из 12 разных стран, а их экспертиза охватывает различные области, включая право, журналистику, миротворчество, машинное обучение и исследования в области социальных наук.

В ходе программы команды получали практическую поддержку и руководство. Для облегчения сотрудничества командам было рекомендовано описывать и документировать свои процессы в структурированном виде (с помощью «карточек процессов» и «отчетов о выполнении»). Это позволило быстрее осуществлять итерации и проще находить возможности для интеграции с прототипами других команд. Кроме того, в сентябре OpenAI провела специальный Демодень⁠, на котором команды продемонстрировали свои концепции друг другу, сотрудникам OpenAI и исследователям из других лабораторий ИИ и академических кругов.

Проекты охватывали различные аспекты участия общественности, такие как новые интерфейсы для видеообсуждений, платформы для краудсорсингового аудита моделей ИИ, математические формулировки гарантий представительства и подходы к сопоставлению мнений с параметрами, которые могут использоваться для точной настройки поведения моделей. Примечательно, что практически во всех проектах сам ИИ играл полезную роль в процессах⁠ в виде настраиваемых интерфейсов чата, преобразования речи в текст, синтеза данных и многого другого.

Сегодня, наряду с извлеченными уроками, мы публикуем код, созданный командами для этой грантовой программы⁠, и представляем краткие итоги работы каждой из десяти команд:

Основные выводы из грантовой программы на данный момент

Общественное мнение может часто меняться

Команды фиксировали мнения различными способами. Многие из них обнаружили, что взгляды общественности часто меняются.

• Команда Democratic Fine-Tuning создала чат-бот, который представлял участникам сценарии и формировал «карточки ценностей», которые участники могли просматривать и оценивать. Команда Case Law провела экспертные семинары и представила их мнения в виде набора параметров и соображений по конкретному набору сценариев. Команда Inclusive.AI фиксировала как сами высказывания, так и степень уверенности людей в них, позволяя распределять голоса (токены) по множеству утверждений (а не отдавать единственный голос). Многие другие команды представляли утверждения с указанием доли поддержавших их участников.
• Интересно, что многие команды обнаружили, что общественное мнение меняется часто, даже изо дня в день, что может иметь важное значение для того, как часто должны проводиться процессы сбора мнений. Коллективный процесс должен быть достаточно тщательным, чтобы улавливать трудноизменимые и, возможно, более фундаментальные ценности, и одновременно быть достаточно чувствительным (или повторяться достаточно часто), чтобы фиксировать значительные изменения во взглядах с течением времени.

Преодолеть цифровой разрыв по-прежнему сложно, и это может исказить результаты

Охват соответствующих участников через цифровые и культурные барьеры может потребовать дополнительных инвестиций в улучшение работы с аудиторией и разработку более совершенных инструментов.

• Некоторые команды обнаружили, что участники, набранные через интернет, были более оптимистично настроены по отношению к ИИ — это качество коррелировало с повышенной поддержкой и энтузиазмом в отношении поведения моделей ИИ в целом.
• Более того, из-за недостаточного охвата или доступности на большинстве используемых нами платформ, большинство команд столкнулись с серьезными трудностями при привлечении участников через цифровой разрыв.
• Что еще более тонко, даже когда граждане стран мирового большинства включаются в процесс, инструменты могут быть менее полезны для них из-за ограничений в понимании местного языка или контекста. Например, в ходе онлайн- и оффлайн-дискуссий в фокус-группах команда Rappler обнаружила, что зафиксированные различия в производительности между языками⁠ у общедоступных инструментов распознавания речи, таких как Whisper⁠, затрудняли транскрипцию на родных языках участников, например тагальском, бинисая и хилигайнон, которые являются основными языками Филиппин.
• Команда Ubuntu-AI решила напрямую стимулировать участие, разработав платформу, которая позволяет африканским креативным специалистам получать вознаграждение за вклад в машинное обучение на основе их собственного дизайна и культурного фона.

Поиск согласия внутри поляризованных групп

Найти компромисс бывает сложно, когда у небольшой группы есть твердые убеждения по какому-то конкретному вопросу.

• Команда Collective Dialogues обнаружила, что в каждой сессии неизменно присутствовала небольшая группа людей, которые твердо верили, что ограничивать ИИ-ассистентов в ответах на определенные вопросы неправильно при любых обстоятельствах. В этом случае, поскольку группа была небольшой, голосование большинством приводило к результатам, с которыми они категорически не были согласны.
• Процессы, разработанные командами Collective Dialogues, Energize.AI и Recursive Public, были нацелены на поиск политических предложений, которые получили бы сильную поддержку среди поляризованных групп. Например, все руководящие принципы политики, выработанные в ходе процесса Collective Dialogues с участием граждан США (включая вопросы вакцинации, которые известны своей спорностью), получили поддержку более 72% сторонников Демократической партии, независимых избирателей и сторонников Республиканской партии.

Достижение консенсуса против представления разнообразия

При попытке выработать единый результат или принять одно решение для представления группы может возникнуть противоречие между попыткой достичь консенсуса и адекватным представлением всего разнообразия различных мнений. Речь идет не только о том, чтобы встать на сторону большинства, но и о том, чтобы предоставить трибуну разным точкам зрения.

• Команда Generative Social Choice разработала метод, который выделяет несколько ключевых позиций, демонстрируя спектр мнений и одновременно находя точки соприкосновения. Для поиска этого баланса они использовали математическую теорию.
• Тем временем команда Inclusive.AI исследовала различные механизмы голосования и то, как они воспринимаются. Они выяснили, что методы, которые показывают, насколько сильно люди переживают за свой выбор, и обеспечивают равные права голоса для каждого участника, воспринимаются как более демократичные и справедливые.

Надежды и опасения по поводу будущего управления ИИ

Некоторые участники нервничали из-за использования ИИ при написании политики и хотели бы прозрачности в отношении того, когда и как ИИ применяется в демократических процессах. Многие команды заметили, что после сессий обсуждения участники стали более оптимистично смотреть на способность общества помогать в управлении ИИ.

• В ходе сотрудничества с муниципальным правительством и проведения круглых столов с различными заинтересованными сторонами команды Deliberation at Scale и Recursive Public выяснили, что, хотя существует явный интерес к роли самого ИИ в улучшении демократических процессов, также наблюдается определенная настороженность в отношении того, сколько власти или влияния демократические институты должны предоставлять этим системам и их разработчикам.
• Команда Collective Dialogues обнаружила, что сочетание ИИ в процессе принятия решений с этапами решений, не связанных с ИИ (например, экспертная оценка пунктов политики, сгенерированных ИИ, или финальное голосование по политике, сформированной на основе ИИ), привело к процессу, который сочетал в себе эффективность за счет ИИ и при этом воспринимался общественностью как заслуживающий доверия и легитимный.
• В процессе работы команды Collective Dialogues в ходе обсуждений среди различных групп участников возник популярный пункт, который в общих чертах гласит, что выбранная политика должна «расширяться и регулярно обновляться по мере возникновения новых проблем, углубления понимания и эволюции возможностей ИИ». В среднем этот пункт поддержали 85% участников.
• Команды Collective Dialogues и Deliberation at Scale обнаружили, что сам факт участия в сессии обсуждения вопросов политики в сфере ИИ заставлял людей с большей вероятностью считать, что общественность способна помочь в управлении поведением ИИ в целом.

Наши планы реализации

Наша цель — разрабатывать системы, которые включают общественные мнения для управления мощными моделями ИИ, одновременно решая описанные выше задачи. Чтобы обеспечить дальнейший прогресс в этом исследовании, мы формируем команду «Коллективного согласования» (Collective Alignment), состоящую из исследователей и инженеров, которая будет:

• Внедрять систему сбора и кодирования мнений общественности о поведении моделей в наши системы.
• Продолжать работу с внешними консультантами и грантовыми командами, включая запуск пилотных проектов по интеграции прототипов грантополучателей в управление нашими моделями.

Мы нанимаем выдающихся инженеров-исследователей с самым разным техническим бэкграундом, чтобы строить эту работу вместе с нами. Если вас вдохновляет то, что мы делаем, и вы хотите подать заявку, пожалуйста, присоединяйтесь к нам⁠!

AJ Ostrow, Alex Beutel, Andrea Vallone, Arka Dhar, Atoosa Kasirzadeh, Artemis Seaford, Aviv Ovadya, Chris Clark, Colin Megill, Erik Ritter, Gillian Hadfield, Greg Brockman, Gretchen Krueger, Hélène Landemore, Jason Kwon, Lama Ahmad, Miguel Manriquez, Miles Brundage, Natalie Cone, Ryan Lowe, Shibani Santurkar, Wojciech Zaremba, Yo Shavit