GPT-2: шесть месяцев спустя20.08.2019 07:00

Мы выпускаем языковую модель GPT-2 с 774 миллионами параметров. Это продолжение февральского релиза нашей небольшой модели на 124 млн параметров⁠, поэтапного выпуска средней модели на 355 млн параметров⁠ в мае, а также последовавших за этим исследований потенциального вреда и общественной пользы модели, проведенных совместно с партнерами и AI-сообществом. Мы также публикуем открытое юридическое соглашение, чтобы упростить организациям запуск партнерств по обмену моделями, и представляем технический отчет о нашем опыте координации норм публикации с широким сообществом исследователей в области искусственного интеллекта.

Главные выводы, которые мы сделали

1. Координация — это сложно, но возможно. На сегодняшний день публичных релизов языковых моделей с 1558 млн параметров еще не было, хотя многие организации уже разработали системы для их обучения или публично обсуждали методы создания более крупных моделей. Например, команды разработчиков из Hugging Face⁠, а также Института искусственного интеллекта Аллена⁠ (AI2) совместно с Вашингтонским университетом напрямую использовали схожий с нашим поэтапный подход к релизам⁠. С февраля мы провели беседы более чем с пятью группами исследователей, которые смогли воспроизвести GPT-2.A

2. Люди могут поверить синтезированному тексту. Исследования наших партнеров Сары Крепс (Sarah Kreps) и Майлза МакКейна (Miles McCain) из Корнеллского университета,  опубликованные в журнале Foreign Affairs⁠, показывают, что люди воспринимают сгенерированные GPT-2 тексты почти так же убедительно (72% респондентов в одной из групп сочли статьи заслуживающими доверия), как и настоящие материалы из New York Times (83%).B Кроме того, исследование AI2/UW продемонстрировало, что новости, созданные системой под названием GROVER, могут быть более правдоподобными, чем пропаганда, написанная людьми⁠. Эти результаты заставляют нас относиться к выпуску языковых моделей с еще большей осторожностью.

3. Задача обнаружения сгенерированного текста не так проста. На практике от детекторов требуется выявлять значительную долю сгенерированного контента при минимальном количестве ложноположительных срабатываний. Злоумышленники могут использовать различные методы сэмплирования (включая отклоняющее сэмплирование) или дообучать модели для обхода систем обнаружения. Развертываемая система должна обладать высочайшей точностью (99,9%–99,99%) на самых разных типах текстов. Наши исследования показывают, что существующие методы на базе машинного обучения достигают точности лишь в диапазоне от низких до средних 90%, а тонкая настройка языковых моделей еще больше снижает этот показатель. Существуют перспективные пути решения (особенно те, которые продвигают разработчики модели »GROVER⁠»), но в целом это крайне сложная исследовательская задача. Мы убеждены, что для эффективной борьбы со злоупотреблением языковыми моделями статистическое детектирование текстов должно подкрепляться экспертной оценкой человека и метаданными, связанными с текстом.

Партнерство

Мы объединили усилия с четырьмя ведущими исследовательскими организациями для анализа как недавно выпущенной модели GPT-2 с 774 млн параметров, так и невыпущенной полноразмерной версии GPT-2. Некоторые предварительные результаты их работы мы включили в наш технический отчет, а их текущий анализ будет учитываться при принятии решения о возможном выпуске модели с 1558 млн параметров. Кроме того, мы разработали некоммерческое юридическое соглашение, облегчающее обмен моделями между организациями, и публикуем его здесь, чтобы помочь другим запускать подобные инициативы по обмену.

• Корнеллский университет изучает подверженность людей влиянию цифровой дезинформации, создаваемой языковыми моделями.
• Центр по изучению терроризма, экстремизма и контртерроризма (CTEC) при Институте международных исследований Миддлбери исследует, как злоумышленники могут использовать GPT-2 в террористических и экстремистских целях в сети.
• Орегонский университет разрабатывает серию «детекторов предвзятости» для анализа предвзятости в моделях GPT-2.
• Техасский университет в Остине изучает статистическую обнаруживаемость результатов работы GPT-2 после дообучения модели на специфических для предметной области наборах данных, а также степень переноса методов обнаружения между различными языковыми моделями.

Решения о будущих релизах

Исследования этих партнеров повлияют на наши будущие решения о релизах, наряду с наблюдением за тем, как используется модель с 774 млн параметров, а также обсуждениями языковых моделей с исследователями и политиками для понимания аспектов, связанных с более крупными моделями. В рамках нашей стратегии поэтапного релиза мы планируем выпустить модель с 1558 млн параметров через несколько месяцев, однако выводы партнеров или примеры вредоносного использования модели с 774M могут изменить эти планы.

Мы считаем, что сочетание поэтапного релиза и совместного обмена моделями на основе партнерства станет ключевой основой для ответственной публикации разработок в области ИИ, особенно в контексте мощных генеративных моделей. Проблемы, присущие крупным моделям, со временем будут только расти, а не уменьшаться. Мы надеемся, что наша работа над GPT-2, подробно описанная в техническом отчете⁠, поможет сформировать эмпирическую базу, на которую сможет опираться сообщество ИИ при рассмотрении этических и практических проблем публикации в определенных областях исследований.

Хронология

• Январь 2019 г.

  OpenAI публикует статью в блоге⁠ и исследовательскую работу⁠ о GPT-2.
  Выпущена небольшая модель GPT-2 (124M параметров).

• Февраль 2019 г.

  Партнерство по искусственному интеллекту (Partnership on AI) совместно с OpenAI организует ужин для обсуждения норм публикаций⁠, а затем публикует материал с выжимкой дискуссии.

• Апрель 2019 г.

  Выпущена модель среднего размера (355M параметров).
  Выпущен набор данных результатов крупномасштабных моделей.
  Выпущен базовый детектор, помогающий понять, как распознавать выводы таких моделей, как GPT-2.
  Оригинальная статья в блоге обновлена⁠ с учетом этих изменений.
  Адам Кинг (Adam King) запускает⁠ «TalktoTransformer.com», предоставляя пользователям интерфейс для тестирования новых моделей.
  Hugging Face выпускает демо-версию диалогового ИИ на базе моделей GPT-2, обсуждает этические аспекты решения о релизе и принимает решение не выпускать большую модель GPT-2⁠.
  Исследователи из Вашингтонского университета и Института исследования искусственного интеллекта Аллена представляют GROVER⁠ — языковую модель в стиле GPT-2; они не выпускают крупные версии этой модели и проводят исследования по обнаружению результатов ее работы.

• Май 2019 г.

  OpenAI дает показания в Конгрессе США⁠ относительно последствий распространения синтетического контента, включая обсуждение генеративных текстов.
  DeepMind обсуждает GPT-2 и важность надлежащих норм публикации для генеративных моделей в своей недавней статье⁠ об обучении без учителя.
  OpenAI начинает исследовательское сотрудничество с Партнерством по ИИ⁠ в области норм публикаций. Мы стремимся работать с самыми разными организациями, занимающимися исследованиями ИИ, чтобы сформировать перечень вопросов, которые ученые могли бы задавать себе до публикации результатов, а также разработать потенциальные структуры для принятия решений о релизах.

• Июнь 2019 г.

  DeepTabNine создает автодополнитель кода⁠ на базе GPT-2.
  Генерация ответов в многошаговом диалоге с помощью авторегрессионных трансформерных моделей⁠
  GLTR: Статистическое обнаружение и визуализация сгенерированного текста⁠

• Июль 2019 г.

  Исследователи из проекта Thoughtful Technology Project и Кембриджского университета опубликовали рабочую работу на тему «Снижение рисков злоупотребления исследованиями синтетических медиа: соображения и потенциальные практики релизов для машинного обучения⁠».
  Здравствуйте, это GPT-2 — чем я могу помочь? К вопросу об использовании предобученных языковых моделей для диалоговых систем, ориентированных на задачи⁠
  ИИ-стартап AI21 Labs выпускает HAIM⁠ — нейросетевой генератор текста; они выпускают только вариант модели на 345M, «эквивалентный по размеру публично доступным версиям Grover и GPT-2».
  Подразделение NVIDIA Research обучает⁠ модель GPT-2 с 8,3 миллиарда параметров.
  Выпущена модель с большим количеством параметров (774M).

1. A

   Вести подобные обсуждения сложно, поскольку они требуют откровенного разговора о проприетарных системах. При этом не всегда понятно, к кому конкретно обращаться в других организациях для обсуждения таких моделей и какие процессы являются подходящими для межорганизационного диалога о невыпущенных исследованиях.

2. B

   Эти образцы были сгенерированы в рамках процесса «человек в контуре» (human-in-the-loop), призванного имитировать современные дезинформационные кампании, когда человек генерирует фрагменты текста и периодически отбирает некоторые из них для демонстрации людям.