Улучшенные языковые модели и их последствия14.02.2019 08:00

Мы обучили крупномасштабную языковую модель без учителя, которая генерирует связные абзацы текста, демонстрирует передовые результаты на многих бенчмарках языкового моделирования и выполняет базовые задачи по пониманию прочитанного, машинному переводу, ответу на вопросы и суммаризации — и всё это без специального обучения для конкретных задач.

Наша модель, названная GPT‑2 (преемница GPT⁠), была обучена простому прогнозированию следующего слова на корпусе текстов из Интернета объемом 40 ГБ. Из-за опасений по поводу вредоносного применения этой технологии мы не выпускаем обученную модель в открытый доступ. В качестве эксперимента по ответственному раскрытию информации мы вместо этого выпускаем гораздо меньшую модель⁠ для экспериментов исследователей, а также технический доклад⁠.

GPT‑2 представляет собой крупную языковую модель на базе архитектуры трансформер⁠ с 1,5 миллиардами параметров, обученную на датасетеA объемом 8 миллионов веб-страниц. Обучение GPT‑2 преследует простую цель: предсказать следующее слово по всем предыдущим словам в некотором тексте. Разнообразие датасета приводит к тому, что эта простая задача включает в себя естественно возникающие демонстрации множества задач в различных доменах. GPT‑2 является прямым масштабированием GPT с более чем 10-кратным увеличением числа параметров и обучением на более чем 10-кратном объеме данных.

GPT‑2 демонстрирует широкий спектр возможностей, включая способность генерировать условные синтетические текстовые образцы беспрецедентного качества, когда мы задаем модели вводные данные и заставляем её генерировать длинное продолжение. Кроме того, GPT‑2 превосходит другие языковые модели, обученные на специфических доменах (таких как Википедия, новости или книги), без необходимости использования этих предметно-ориентированных датасетов. В таких языковых задачах, как ответы на вопросы, понимание прочитанного, суммаризация и перевод, GPT‑2 начинает осваивать эти задачи на сыром тексте, не используя обучающих данных, специфичных для конкретной задачи. Хотя результаты на этих последующих задачах далеки от передовых, они показывают, что задачи могут выиграть от неконтролируемых методов при наличии достаточного количества (неразмеченных) данных и вычислительных мощностей.

Примеры

GPT‑2 генерирует образцы синтетического текста в ответ на произвольный ввод, задаваемый модели. Модель подобна хамелеону — она подстраивается под стиль и содержание обуславливающего текста. Это позволяет пользователю генерировать реалистичные и связные продолжения на выбранную им тему, как видно из следующих избранных примеров.B

Как показывают приведенные выше примеры, наша модель способна генерировать по различным подсказкам образцы текста, близкие по качеству к человеческому и сохраняющие связность на протяжении страницы текста или более. Тем не менее, мы наблюдали различные сбои в работе, такие как повторение текста, ошибки моделирования мира (например, модель иногда пишет о пожарах, происходящих под водой) и неелативные переключения тем. Изучение такого рода слабостей языковых моделей является активной⁠областью⁠исследований⁠ в сообществе специалистов по обработке естественного языка.

В целом мы обнаруживаем, что для получения хорошего примера требуется несколько попыток, причем их количество зависит от того, насколько модель знакома с контекстом. При получении подсказок на темы, широко представленные в данных (Brexit, Майли Сайрус, «Властелин колец» и т. д.), она способна генерировать разумные образцы примерно в 50% случаев. Верно и обратное: для высокотехничного или эзотерического контента модель может работать плохо. Дообучение (fine-tuning) открывает возможности для еще более детального контроля над генерируемыми образцами — например, мы можем дообучить GPT‑2 на наборе данных Amazon Reviews и использовать это для написания отзывов, зависящих от таких параметров, как звездный рейтинг и категория.

Эти образцы имеют серьезные последствия для политики безопасности: крупные языковые модели становится все проще направлять в сторону масштабируемой, настраиваемой и связной генерации текста, что в свою очередь может быть использовано как в благих, так и во вредоносных целях. Ниже мы подробнее обсудим эти последствия и расскажем о публикационном эксперименте, который мы проводим в связи с такими соображениями.

Zero-shot (без обучения на примерах)

GPT‑2 достигает передовых результатов в различных предметно-ориентированных задачах языкового моделирования. Наша модель не обучалась ни на каких данных, специфичных для этих задач, и оценивается на них исключительно в качестве финального теста; это известно как режим zero-shot. GPT‑2 превосходит модели, обученные на специфических для конкретного домена датасетах (например, Википедия, новости, книги), при оценке на тех же самых датасетах. В следующей таблице представлены все наши передовые результаты в режиме zero-shot.

(+) означает, что для этого домена выше балл — тем лучше. (–) означает, что ниже балл — тем лучше.

В других языковых задачах, таких как ответы на вопросы, понимание прочитанного, суммаризация и перевод, мы получаем неожиданные результаты без какого-либо дообучения наших моделей, просто задавая обученной модели правильные подсказки (см. примеры того, как мы это делаем, ниже), хотя мы все еще не дотягиваем до передовых показателей специализированных систем.

Мы предполагаем, что поскольку эти задачи являются подмножеством общего языкового моделирования, можно ожидать дальнейшего роста производительности при увеличении объема вычислений и данных. Другие исследователи опубликовали похожие гипотезы⁠. Мы также ожидаем, что дообучение повысит производительность в последующих задачах, хотя нам еще предстоит провести тщательные эксперименты.

Последствия для политики безопасности

Крупные универсальные языковые модели могут оказать значительное влияние на общество, а также имеют множество применений в ближайшей перспективе. Мы можем предвидеть, как системы вроде GPT‑2 могут использоваться для создания:

• ИИ-помощников для письма
• Более способных диалоговых агентов
• Неконтролируемого перевода между языками
• Усовершенствованных систем распознавания речи

Мы также можем представить применение этих моделей в вредоносных целях⁠, включая следующее (а также другие применения, которые мы пока не можем предвидеть):

• Генерация вводящих в заблуждение новостных статей
• Выдача себя за других людей в сети
• Автоматизация производства оскорбительного или поддельного контента для публикации в социальных сетях
• Автоматизация создания спама и фишингового контента

Эти выводы в сочетании с более ранними результатами в области синтеза изображений, аудио и видео показывают, что технологии снижают стоимость генерации фальшивого контента и ведения кампаний по дезинформации. Широкой общественности придется стать более скептически относиться к текстам, найденным в интернете, точно так же, как феномен »дипфейков⁠» требует большего скептицизма в отношении изображений.C

Сегодня злоумышленники — некоторые из которых имеют политический характер — уже начали нацеливаться на общественные интернет-ресурсы, используя такие инструменты, как⁠ «роботизированные инструменты, фейковые аккаунты и специализированные команды для троллинга отдельных лиц ненавистными комментариями или клеветой, из-за которых люди боятся высказываться или их становится трудно услышать или поверить им». Нам следует подумать о том, как исследования в области генерации синтетических изображений, видео, аудио и текста могут дополнительно объединиться, чтобы открыть новые, еще не предвиденные возможности для таких злоумышленников, и стремиться к созданию более эффективных технических и нетехнических контрмер. Кроме того, лежащие в основе этих систем технологические инновации являются ядром фундаментальных исследований в области искусственного интеллекта, поэтому невозможно контролировать исследования в этих областях, не замедляя при этом прогресс ИИ в целом.

Стратегия релиза

Из-за опасений по поводу того, что большие языковые модели могут использоваться для создания вводящего в заблуждение, предвзятого или оскорбительного текста в больших масштабах, мы выпускаем только значительно меньшую версию GPT‑2 вместе с кодом для семплирования⁠. Мы не публикуем набор данных, код для обучения или веса модели GPT‑2. Почти год назад мы писали в Уставе OpenAI⁠: «мы ожидаем, что соображения безопасности и защищенности в будущем уменьшат объем нашей традиционной публикации результатов, одновременно повысив важность обмена исследованиями в области безопасности, политики и стандартов», и мы рассматриваем текущую работу как потенциальное отражение зарождения подобных опасений, которые, как мы полагаем, со временем будут расти. Это решение, а также его обсуждение — эксперимент: хотя мы не уверены, что оно является единственно верным сегодня, мы верим, что в определенных областях исследований сообществу специалистов по искусственному интеллекту в конечном итоге потребуется продуманно подойти к решению проблемы норм публикации. В других дисциплинах, таких как биотехнология и кибербезопасность, уже давно ведутся активные дебаты об ответственной публикации в случаях с явным потенциалом злоупотребления, и мы надеемся, что наш эксперимент послужит примером для более детального обсуждения решений о выпуске моделей и кода в сообществе ИИ.

Мы знаем, что некоторые исследователи обладают техническими возможностями для воспроизведения и открытия наших результатов. Мы считаем, что наша стратегия релиза ограничивает первоначальный круг организаций, которые могут пойти на это, и дает сообществу ИИ больше времени на обсуждение последствий появления таких систем.

Мы также считаем, что правительствам следует рассмотреть возможность расширения или начала инициатив по более систематическому мониторингу общественного влияния и распространения технологий ИИ, а также по оценке роста возможностей таких систем. Если эти усилия будут предприняты, они могут создать более прочную доказательную базу для решений лабораторий ИИ и правительств относительно политики публикаций и политики в области ИИ в целом.

Мы продолжим публично обсуждать эту стратегию через шесть месяцев. Если вы хотите обсудить большие языковые модели и их последствия, пожалуйста, напишите нам по адресу:  languagequestions@openai.com⁠. И если вы хотите работать над передовыми языковыми моделями (и продумывать их политические последствия),  мы нанимаем сотрудников⁠.

Промежуточное обновление по GPT‑2, май 2019 г.

Мы внедряем два механизма для ответственной публикации GPT‑2 и, надеемся, будущих релизов: поэтапный выпуск и обмен на основе партнерства. Сейчас мы выпускаем⁠ более крупную версию GPT‑2 с 345 миллионами параметров в качестве следующего шага в рамках поэтапного релиза, а также делимся версиями на 762М и 1,5B с партнерами из сообществ специалистов по искусственному интеллекту и безопасности, которые работают над повышением готовности общества к появлению больших языковых моделей.

Поэтапный выпуск

Поэтапный выпуск предполагает постепенное обнародование семейства моделей с течением времени. Цель нашего поэтапного релиза GPT‑2 состоит в том, чтобы дать людям время оценить свойства этих моделей, обсудить их общественные последствия и оценить влияние выпуска после каждого этапа.

В качестве следующего шага нашей стратегии поэтапного релиза мы выпускаем версию GPT‑2 с 345 миллионами параметров. Эта модель отличается улучшенной производительностью по сравнению с версией на 117М параметров, хотя и уступает версии на 1,5B по простоте генерации связного текста. Мы были рады видеть так много позитивных вариантов использования GPT‑2‑117M и надеемся, что версия на 345M принесет еще больше пользы.

Хотя риск злоупотребления версией 345M выше, чем у 117M, мы считаем его существенно ниже, чем у 1.5B, и полагаем, что обучение систем с возможностями, аналогичными GPT‑2‑345M, вполне по силам многим игрокам уже сейчас; этот меняющийся ландшафт репликации повлиял на наше решение о том, что целесообразно выпустить публично.

Принимая решение о выпуске модели на 345M, мы учитывали следующие факторы: простоту использования (различными пользователями) моделей разного размера для генерации связного текста, роль человека в процессе генерации текста, вероятность и сроки будущего тиражирования и публикации другими исследователями, свидетельства использования в реальных условиях и основанные на мнении экспертов выводы о ненаблюдаемом использовании, доказательства концепции, такие как генератор рецензий, упомянутый в первоначальной публикации в блоге, силу спроса на модели в полезных целях, а также мнения заинтересованных сторон и экспертов. Мы по-прежнему не уверены в некоторых из этих переменных и продолжаем принимать мнения о том, как принимать правильные решения о публикации языковых моделей.

Мы надеемся, что продолжающиеся исследования предвзятости, методов обнаружения и злоупотреблений придадут нам уверенности в своевременной публикации более крупных моделей, а через шесть месяцев мы поделимся более полным анализом общественных последствий языковых моделей и наших эвристик для принятия решений о выпуске.

Набор выходных данных

Мы выпускаем⁠ набор данных результатов работы GPT‑2 для всех 4 размеров моделей (как с усечением top-k, так и без него), а также подмножество корпуса WebText, использовавшегося для обучения GPT‑2. Набор выходных данных содержит примерно 250 000 сэмплов на каждую пару модель/гиперпараметр, чего, как мы ожидаем, достаточно, чтобы помочь широкому кругу исследователей провести количественный и качественный анализ по трем упомянутым выше темам. Наряду с этими наборами данных мы включаем базовый анализ некоторых свойств моделей, связанных с их обнаружением, и надеемся, что другие смогут быстро развить эти наработки.

Свяжитесь с нами

Мы заинтересованы в сотрудничестве с исследователями, работающими над обнаружением вывода языковых моделей, предвзятостью и нормами публикаций, а также с организациями, на которые потенциально могут повлиять большие языковые модели: пожалуйста, свяжитесь с нами через нашу форму Google⁠. Кроме того, команды OpenAI по языковым моделям, безопасности и политике примут участие в конференции ICLR⁠ на следующей неделе, в том числе в воркшопе по воспроизводимости и на стенде OpenAI. В частности, мы будем обсуждать эту стратегию релиза на воркшопе AI for Social Good⁠.

1. A

   Мы создали новый набор данных, который делает акцент на разнообразии контента, собирая данные из Интернета методом веб-скрейпинга. Чтобы сохранить качество документов, мы использовали только те страницы, которые прошли кураторский отбор или фильтрацию людьми, а именно — исходящие ссылки с Reddit, получившие не менее 3 очков кармы. Это можно рассматривать как эвристический индикатор того, сочли ли другие пользователи ссылку интересной (образовательной или забавной), что обеспечивает более высокое качество данных по сравнению с другими аналогичными наборами данных, такими как CommonCrawl.

2. B

   Обратите внимание: хотя мы вручную отобрали эти примеры и тем самым занимаемся своего рода мета-вирусным отбором (cherry-picking), мы считаем, что они достаточно репрезентативно отражают процесс семплирования. Мы просто используем семплирование с усечением top-k и еще не исследовали более продвинутые методы семплирования (такие как методы лучевого поиска).

3. C

   Политики могут захотеть рассмотреть вопрос о введении наказаний за злоупотребление такими системами, как некоторые уже предлагали в отношении дипфейков.

Спасибо Дэвиду Луану (David Luan) и Ревону Чайлду (Rewon Child) за их работу над GPT-2.

Мы также благодарим следующих лиц за отзывы на черновики этого поста: Грег Брокман (Greg Brockman), Кай-Фу Ли (Kai-Fu Lee), Таша Макколи (Tasha McCauley), Джеффри Дин (Jeffrey Ding), Брайан Цзе (Brian Tse), Аллан Дафо (Allan Dafoe), Ребекка Крутоф (Rebecca Crootof), Сэм Боуман (Sam Bowman), Райан Кало (Ryan Calo), Ник Каммарата (Nick Cammarata) и Джон Шульман (John Schulman).

Редактор: Эшли Пилипишин (Ashley Pilipiszyn)

Дизайн: Джастин Джей Ванг (Justin Jay Wang)

Обложка: Бен Барри (Ben Barry)