Исследовательская повестка для оценки экономического влияния моделей генерации кода03.03.2022 08:00

Аннотация

OpenAI разрабатывает исследовательскую программу для оценки экономического влияния моделей генерации кода и приглашает к сотрудничеству независимых исследователей. Стремительный рост возможностей больших языковых моделей (LLM), обученных на коде, делает все более важным изучение их экономического воздействия на отдельных людей, компании и общество. Было показано, что Codex — LLM, разработанная OpenAI путем дообучения GPT‑3 на миллиардах строк общедоступного кода с GitHub — генерирует функционально корректный код в 28,8% случаев на выборке тестовых задач (Chen et al. 2021). Это может иметь важные последствия для будущего программирования и экономики зависящих от него отраслей. В данном документе мы излагаем исследовательскую повестку для оценки эффектов от внедрения Codex на экономические факторы, представляющие интерес для политиков, бизнеса и широкой общественности. Мы обосновываем эту исследовательскую повестку, подчеркивая потенциально широкую применимость моделей генерации кода в разработке программного обеспечения, способность других LLM оказывать значительное социальное и экономическое влияние по мере совершенствования их возможностей, а также ценность использования Codex для получения эмпирических данных и создания методологий, которые могут быть применимы в исследованиях экономического влияния будущих моделей. Мы предлагаем сосредоточить академические и политические исследования на изучении моделей генерации кода и других LLM, чтобы полученные данные об их экономическом воздействии можно было использовать для принятия решений в трех ключевых областях: политика развертывания, проектирование систем ИИ и государственная политика. В качестве ориентира для этих исследований мы выделяем шесть приоритетных областей результатов в сфере экономического воздействия, которые мы намерены изучать с помощью Codex: производительность труда, занятость, развитие навыков, межфирменная конкуренция, потребительские цены и экономическое неравенство. Для каждой области мы кратко рассматриваем предыдущие исследования о влиянии искусственного интеллекта на каждый из этих результатов, описываем вопросы, которые мы считаем ключевыми для упомянутых выше трех областей принятия решений, и приводим примеры исследований, которые можно было бы провести с помощью Codex. Чтобы стимулировать работу, опирающуюся на эту первоначальную исследовательскую повестку, мы объявляем о приеме заявок на выражение заинтересованности⁠ от внешних исследователей для сотрудничества с исследователями и клиентами OpenAI с целью более точного измерения экономического влияния моделей генерации кода и других LLM.