Обновления Frontier Model Forum25.10.2023 07:00

Примечание редактора: сегодня OpenAI, Anthropic, Google и Microsoft опубликовали следующее совместное заявление.

• Крис Месероль (Chris Meserole) назначен первым исполнительным директором Frontier Model Forum⁠ — отраслевого объединения, деятельность которого направлена на обеспечение безопасной и ответственной разработки и использования передовых моделей ИИ во всем мире.
• Месероль обладает богатым опытом работы в сфере управления и безопасности новых технологий и их будущих применений.
• Сегодня члены Форума совместно с филантропическими партнерами — Фондом Патрика Дж. Макговерна (Patrick J. McGovern Foundation), Фондом Дэвида и Люсиль Паккард (David and Lucile Packard Foundation), Эриком Шмидтом и Яаном Таллинном — выделяют более 10 миллионов долларов на создание нового Фонда безопасности ИИ (AI Safety Fund) для поддержки исследований в области разработки инструментов, позволяющих обществу эффективно тестировать и оценивать наиболее мощные модели ИИ.

Сегодня Anthropic, Google, Microsoft и OpenAI объявляют о назначении Криса Месероля⁠ первым исполнительным директором Frontier Model Forum⁠, а также о создании нового Фонда безопасности ИИ — инициативы стоимостью более 10 миллионов долларов, направленной на стимулирование исследований в области безопасности искусственного интеллекта. Frontier Model Forum, отраслевое объединение, сосредоточенное на обеспечении безопасной и ответственной разработки передовых ИИ-моделей, также публикует первый отчет своей технической рабочей группы по тестированию на проникновение (ред-тимингу), чтобы поделиться отраслевым опытом с широкой аудиторией по мере того, как Форум расширяет дискуссию об подходах к ответственному управлению ИИ.

Исполнительный директор

Крис Месероль приходит во Frontier Model Forum с глубокой экспертизой в области технологической политики, имея за плечами обширный опыт работы в сфере управления и безопасности развивающихся технологий и их будущих применений. До этого он занимал должность директора Инициативы по искусственному интеллекту и новым технологиям в Брукингском институте (Brookings Institution).

В новой роли Месероль будет отвечать за помощь Форуму в реализации его миссии:

• Продвижение исследований в области безопасности ИИ для обеспечения ответственной разработки передовых моделей и минимизации потенциальных рисков.
• Определение передовых практик безопасности для передовых моделей.
• Обмен знаниями с политиками, учеными, гражданским обществом и другими заинтересованными сторонами в целях содействия ответственному развитию ИИ.
• Поддержка инициатив по использованию ИИ для решения крупнейших проблем общества.

«Мощнейшие модели ИИ открывают огромные перспективы для общества, но чтобы реализовать их потенциал, нам необходимо лучше понимать, как безопасно разрабатывать эти модели и оценивать их. Я рад принять этот вызов вместе с Frontier Model Forum».

Фонд безопасности ИИ

За последний год индустрия добилась значительных успехов в возможностях искусственного интеллекта. По мере ускорения этих достижений возникает потребность в новых академических исследованиях в области безопасности ИИ. Чтобы восполнить этот пробел, Форум и филантропические партнеры создают новый Фонд безопасности ИИ, который будет поддерживать независимых исследователей со всего мира, связанных с академическими учреждениями, научно-исследовательскими организациями и стартапами. Первоначальные обязательства по финансированию Фонда безопасности ИИ взяли на себя Anthropic, Google, Microsoft и OpenAI, а также наши щедрые филантропические партнеры: Фонд Патрика Дж. Макговерна, Фонд Дэвида и Люсиль ПаккардA, Эрик Шмидт и Яан Таллинн. В совокупности это составляет более 10 миллионов долларов начального финансирования. Мы ожидаем дополнительных взносов от других партнеров.

Ранее в этом году члены Форума подписали добровольные обязательства по обеспечению безопасности ИИ в Белом доме, которые включают в себя обещание содействовать обнаружению уязвимостей в наших ИИ-системах третьими лицами и их отчетности о них. Форум рассматривает Фонд безопасности ИИ как важную часть выполнения этого обязательства, предоставляя внешнему сообществу финансирование для лучшей оценки и понимания передовых систем. Глобальное обсуждение безопасности ИИ и общая база знаний об ИИ выиграют от расширения круга мнений и точек зрения.

Основное внимание Фонда будет сосредоточено на поддержке разработки новых методов оценки моделей и ред-тиминга ИИ-моделей, что поможет разрабатывать и тестировать методы оценки потенциально опасных возможностей передовых систем. Мы верим, что увеличение финансирования в этой области поможет повысить стандарты безопасности и защиты, а также предоставит информацию о мерах смягчения и контроля, необходимых промышленности, правительствам и гражданскому обществу для реагирования на вызовы, создаваемые системами ИИ.

В ближайшие несколько месяцев Фонд объявит сбор предложений (конкурс проектов). Управлением Фондом займется Меридиан Института (Meridian Institute) — их работу поддержит консультативный комитет, состоящий из независимых внешних экспертов, специалистов из ИИ-компаний и лиц с опытом предоставления грантов.

Техническая экспертиза

За последние несколько месяцев Форум работал над созданием единого набора определений терминов, концепций и процессов, чтобы у нас была базовая основа для дальнейшей работы. Таким образом, исследователи, правительства и другие коллеги по отрасли смогут иметь единую отправную точку в дискуссиях об искусственном интеллекте и проблемах его регулирования.

В целях формирования общего понимания Форум также работает над распространением передового опыта в области ред-тиминга по всей отрасли. В качестве отправной точки Форум объединил усилия для создания общего определения «ред-тиминга» для ИИ и набора общих примеров из практики (кейс-стади) в новом обновлении рабочей группы⁠. Мы определили ред-тиминг как структурированный процесс тестирования ИИ-систем и продуктов с целью выявления вредоносных возможностей, результатов или инфраструктурных угроз. Мы продолжим эту работу и полны решимости совместными усилиями развивать практику ред-тиминга.

Мы также разрабатываем новый процесс ответственного раскрытия информации, с помощью которого передовые ИИ-лаборатории смогут делиться сведениями, связанными с обнаружением уязвимостей или потенциально опасных возможностей в передовых ИИ-моделях, а также сопутствующими методами их минимизации. Некоторые компании, входящие во Frontier Model Forum, уже обнаружили возможности, тенденции и меры защиты для ИИ в сфере национальной безопасности. Форум считает, что наши совместные исследования в этой области могут послужить примером того, как передовые ИИ-лаборатории могут совершенствовать и внедрять процесс ответственного раскрытия информации в будущем.

Что дальше

В ближайшие месяцы Frontier Model Forum учредит Консультативный совет, который поможет определять его стратегию и приоритеты, представляя различные точки зрения и сферы экспертизы. Будущие релизы и обновления, включая новости о новых членах, будут публиковаться непосредственно Frontier Model Forum — следите за информацией на их веб-сайте.

Фонд безопасности ИИ выпустит свой первый призыв к подаче предложений в ближайшие месяцы, и мы ожидаем, что гранты будут выданы вскоре после этого.

Frontier Model Forum также будет публиковать дополнительные технические результаты по мере их появления.

Форум рад сотрудничеству с Месеролем и углублению нашего взаимодействия с более широким исследовательским сообществом, включая Partnership on AI⁠, MLCommons⁠ и другие ведущие НПО, государственные и многонациональные организации, чтобы помочь реализовать преимущества ИИ при одновременном содействии его безопасному развитию и использованию.

1. A

   Фонд Дэвида и Люсиль Паккард намерен оказать поддержку, однако на момент публикации финансирование еще не было официально оформлено в виде обязательств.