Инструмент политики в сфере ИИ для сегодняшнего дня: амбициозные инвестиции в NIST20.04.2023 00:00

Мы убеждены, что разумная политика в отношении искусственного интеллекта (ИИ) требует, помимо прочего, способности точно описывать и количественно оценивать возможности и риски систем ИИ. Эта способность является одновременно условием и предпосылкой эффективного регулирования, поскольку инструменты измерения позволяют нам объективно оценивать системы и гарантировать, что они соответствуют надлежащим порогам безопасности. В этой статье мы предлагаем политическую инициативу о том, как этого добиться: существенно профинансировать Национальный институт стандартов и технологий (NIST) для поддержки его работы по созданию стандартов и методов измерения ИИ.

Нас воодушевила двухпартийная поддержка сохранения американского лидерства в разработке критически важных технологий, выраженная во время бюджетных слушаний 18 апреля по запросу на 2024 финансовый год для Министерства торговли (и, как следствие, NIST). Мы считаем, что один из лучших способов направить эту поддержку в нужное русло — увеличить федеральное финансирование NIST, чтобы он имел все возможности для выполнения своей работы по продвижению безопасных технологических инноваций.

В этой статье мы даем обзоры причин, по которым мы так считаем, а также делимся политическим предложением о том, как амбициозная программа финансирования NIST могла бы выглядеть на практике. Это предложение легко реализуемо и опирается на солидную базу уже проделанной агентством работы; мы рассматриваем его как дополнение к целому ряду инструментов политики для более эффективного управления ИИ.

Предыстория

Всего за несколько лет мы стали свидетелями стремительного технологического прогресса в задачах, которые способны решать системы ИИ, а также значительного роста числа общедоступных продуктов на базе ИИ. Исследователи также обнаружили, что эти системы демонстрируют как значительные возможности, так и серьезные риски, некоторые из которых могут возникать внезапно при обучении крупномасштабных моделей, а другие выявляются только после развертывания. В попытке решить эту проблему было выдвинуто множество идей о том, как лучше всего регулировать разработку и использование систем ИИ.

Раздавались призывы к созданию новых федеральных агентств для регулирования ИИ, выдвигались многонациональные законодательные предложения об обязательном соблюдении требований и даже звучали призывы исследователей временно «поставить на паузу» разработку ИИ. Хотя все эти идеи имеют свои достоинства, мы считаем, что у американских политиков есть и более простая, готовая к внедрению идея, которой уделяется сравнительно мало внимания: увеличение финансирования NIST для создания и совершенствования мер по обеспечению надежности ИИ.

NIST в течение многих лет усердно работал над научной основой измерения систем ИИ и разработкой связанных с ними технических стандартов. Среди ключевых достижений NIST в этой области можно выделить тест поставщиков алгоритмов распознавания лиц (FRVT) и структуру управления рисками ИИ (AI Risk Management Framework). Исследователи ИИ также хорошо знакомы с MNIST — набором данных для распознавания рукописного текста, который помог стимулировать прогресс в компьютерном зрение в 1990-х годах и был основан на базах данных NIST, содержащих рукописные символы и цифры.

Хотя искусство измерения может звучать суховато или даже незначительно, мы считаем его критически важным и неотложным для того, чтобы помочь нашему обществу лучше понимать достижения и потенциальные недостатки все более мощных систем ИИ. Как мы уже отмечали в нашем исследовании, открытые системы ИИ могут вести себя непредсказуемо — мы не можем надежно предвидеть все потенциальные риски в процессе разработки. Даже если бы мы могли это сделать, в этой сфере по-прежнему отсутствуют общепринятые методы комплексного измерения и оценки таких рисков.

Инвестиции в безопасность и инновации

Несмотря на фундаментальную работу NIST в области измерений, за последние несколько лет мы наблюдали общую недофинансированность и вызывающий беспокойство застой в финансировании программ, связанных с ИИ в NIST. Отсутствие поддержки ощущается особенно остро на фоне недавнего технологического прогресса и повсеместного внедрения систем ИИ. Благодаря амбициозным инвестициям NIST смог бы развить фундаментальные методы измерений и стандартизировать их в масштабах всей отрасли. Дополнительное ресурсное обеспечение также позволило бы NIST создать столь необходимые общественные ресурсы, такие как испытательные полигоны (тестбеды) для оценки возможностей и рисков современных открытых систем ИИ.

Объем финансирования (в миллионах) программ, связанных с ИИ, в NIST с 2020 по 2024 год. Штриховые черные линии обозначают рекомендацию компании Anthropic об увеличении финансирования на 15 млн долларов по сравнению с 2023 финансовым годом (включая запрошенное NIST увеличение на 5 млн долларов).

Способность эффективно оценивать системы ИИ на предмет их производительности и рисков является предпосылкой для разумного регулирования ИИ — в конце концов, трудно управлять тем, что невозможно измерить. NIST обладает более чем вековым опытом создания измерительной инфраструктуры и поэтому является естественным местом для продолжения этой работы в сфере ИИ. Помимо содействия более грамотному регулированию, эта работа может помочь обществу проложить более безопасный и продуктивный курс для дальнейшего прогресса ИИ за счет:

• Повышения безопасности систем ИИ посредством строгой проверки для выявления и смягчения рисков до того, как они проявятся в общественных условиях
• Повышения доверия общественности к тому, что системы, с которыми они взаимодействуют, проверены независимым сторонним источником
• Предоставления правительству уверенности в том, что передовые системы безопасны для широкой общественности
• Стимулирования инноваций по мере того, как разработчики ИИ стремятся создавать более совершенные технологии и расширять границы текущего уровня развития
• Создания рынка сертификации систем и позитивных стимулов для участия разработчиков

Мы определенно не рассматриваем разработку методов измерения и технических стандартов как панацею от всех потенциальных рисков систем ИИ, но видим в этом прагматичный подход, к реализации которого можно приступить уже сегодня. Подобно нашему видению технической безопасности ИИ, мы верим в «портфельный подход» к управлению ИИ, который может повысить безопасность систем ИИ при комплексном применении нескольких инструментов. Строгие формы оценки систем могут дополнить другие предложения: от надежных внутренних средств контроля и практик управления для разрабатывающих лабораторий до регулярных аудитов независимыми организациями и регуляторно-законодательных основ, основанных на общественных интересах.

Это предложение основывается на нашей прошлой адвокационной деятельности в пользу более обеспеченного ресурсами NIST, включая наше выступление перед Комитетом Сената США по торговле, науке и транспорту, а также наши официальные комментарии в ответ на запросы правительства о предоставлении информации.

Этот пост в блоге продолжает подготовленную нами аналитическую записку (меморандум), в которой рассматриваются прошлые тенденции финансирования и приводятся конкретные предложения о том, что NIST мог бы создать при выделении дополнительных ресурсов. По мере того как Конгресс рассматривает ассигнования на 2024 финансовый год, мы настоятельно призываем его рассмотреть вопрос о дополнительном финансировании NIST.

Ознакомиться с меморандумом можно здесь.