Срочные гранты на супералайnment (сверхравновесие)14.12.2023 08:00

Мы выделяем 10 миллионов долларов в виде грантов на поддержку технических исследований в области согласования (алайnment) и безопасности сверхчеловеческих систем ИИ, включая слабые и сильные обобщения (weak-to-strong generalization), интерпретируемость, масштабируемый контроль и многое другое.

Мы верим, что суперинтеллект может появиться в течение ближайших 10 лет. Эти системы ИИ будут обладать огромными возможностями — они могут принести колоссальную пользу, но также потенциально нести большие риски.

Сегодня мы выравниваем системы ИИ⁠, обеспечивая их безопасность с помощью обучения с подкреплением на основе отзывов человека (RLHF). Однако выравнивание будущих сверхчеловеческих систем ИИ поставит перед нами принципиально новые и качественно иные технические задачи. 

Сверхчеловеческие системы ИИ будут способны на сложное и творческое поведение, которое люди не смогут полностью понять. Например, если сверхчеловеческая модель сгенерирует миллион строк чрезвычайно сложного кода, люди не смогут достоверно оценить, является ли этот код безопасным или опасным для выполнения. Существующие методы выравнивания, такие как RLHF, которые полагаются на человеческий контроль, могут оказаться недостаточными. Это приводит к фундаментальной проблеме: как люди могут направлять системы ИИ и доверять им, если они намного умнее нас самих?

Это одна из важнейших нерешенных технических проблем в мире. Но мы считаем, что ее можно решить совместными усилиями. Существует множество перспективных подходов и интересных направлений с обилием «низко висящих плодов». Мы считаем, что перед исследовательским сообществом в области машинного обучения и отдельными исследователями открываются огромные возможности для достижения серьезного прогресса в решении этой проблемы уже сегодня. 

В рамках нашего проекта Супералайnment⁠ мы хотим объединить лучших исследователей и инженеров мира для решения этой задачи, и мы особенно рады привлечь в эту сферу новых людей.

Срочные гранты на супералайnment

В партнерстве с Эриком Шмидтом (Eric Schmidt) мы запускаем грантовую программу на сумму 10 млн долларов для поддержки технических исследований, направленных на обеспечение согласованности и безопасности систем сверхчеловеческого ИИ:

• Мы предлагаем гранты в размере от 100 тыс. до 2 млн долларов для академических лабораторий, некоммерческих организаций и индивидуальных исследователей.
• Для аспирантов мы спонсируем годовую стипендию OpenAI по супералайnmentу в размере 150 тыс. долларов: 75 тыс. долларов в виде стипендии и 75 тыс. долларов на вычислительные ресурсы и финансирование исследований.
• Предыдущий опыт работы в области алайnmentа не требуется; мы активно ищем исследователей, готовых впервые заняться вопросами выравнивания ИИ.
• Наш процесс подачи заявок прост, и мы ответим вам в течение четырех недель после закрытия приема заявок.

С помощью этих грантов мы особенно заинтересованы в финансировании следующих исследовательских направлений⁠:

• Обобщение со слабого на сильное (Weak-to-strong generalization): Люди будут слабыми супервизорами по сравнению со сверхмощными моделями. Можем ли мы понять и контролировать то, как мощные модели обобщают данные на основе слабого контроля⁠?  
• Интерпретируемость: Как мы можем понять внутреннее устройство моделей? И можем ли мы использовать это, например, для создания детектора лжи для ИИ?
• Масштабируемый контроль (Scalable oversight): Как мы можем использовать системы ИИ, чтобы помогать людям оценивать результаты работы других систем ИИ при выполнении сложных задач?
• Многие другие исследовательские направления, включая, помимо прочего: честность, достоверность цепочки рассуждений (chain-of-thought faithfulness), состязательную устойчивость (adversarial robustness), оценки и тестовые полигоны и многое другое.

Подробнее об исследовательских направлениях, часто задаваемых вопросах и других деталях читайте на нашей странице срочных грантов на супералайnment⁠.

Присоединяйтесь к нам в этом вызове

Мы считаем, что новые исследователи могут внести огромный вклад! Это молодая область со множеством решаемых исследовательских задач; выдающийся вклад может не только помочь сформировать эту сферу, но и стать критически важным для будущего ИИ. Никогда еще не было лучшего времени для начала работы над алайnmentом.

Леопольд Ашенбреннер (Leopold Aschenbrenner), Ян Лейке (Jan Leike), Шерри Лахман (Sherry Lachman), Александер Мадри (Aleksander Madry), Крис Кларк (Chris Clark), Коллин Бернс (Collin Burns), Павел Измайлов (Pavel Izmailov), Нат МакАлис (Nat McAleese), Уильям Сондерс (William Saunders), Бобби Ву (Bobby Wu), Лиза Пан (Lisa Pan), Жанин Коровеси (Janine Korovesis), Ильи Суцкевер (Ilya Sutskever), Эли Жорж (Elie Georges), Кайла Вуд (Kayla Wood), Кендра Римбах (Kendra Rimbach), Томас Дегри (Thomas Degry), Руби Чен (Ruby Chen)