Нейросеть научилась генерировать несколько миллиардов слов в день. И будет ещё больше
Нейросети становятся всё более продвинутыми — по скорости создания текстов человеку за ними уже не угнаться
Одним из наиболее важных трендов в машинном обучении на сегодняшний день является генерация текста. Системы искусственного интеллекта довольно быстро обучаются, буквально поглощая миллиарды слов из интернета, и способны генерировать довольно осмысленный текст в ответ на различные запросы. В конечном итоге подобные алгоритмы можно использовать для решения весьма широкого круга задач — от написания программного кода до создания литературных произведений.
Самым известным текстовым генератором на базе искусственного интеллекта является GPT-3 от компании OpenAI. Разработчики уверяют, что он уже используется десятками тысяч разработчиков в более чем 300 различных приложениях и пишет по 4,5 миллиарда слов в день. Безусловно, это впечатляющий прогресс и своего рода наглядный показатель растущего масштаба, влияния и коммерческого потенциала создания текстов посредством нейросетей.
OpenAI заключила эксклюзивное соглашение с Microsoft, которое обеспечивает корпорации доступ к базовому коду алгоритма, хотя любая другая компания тоже может подать заявку на доступ к API нейросети GPT-3 и создавать собственные сервисы на её основе. К примеру, стартап Viable использует GPT-3 для анализа отзывов потребителей, Fable Studio использует программу для создания диалогов в виртуальной реальности, а Algolia применяет её для улучшения своих поисковых систем.
Впрочем, такое положение вещей устраивает не всех. Некоторые аналитики отмечают, что нерационально использовать для собственного бизнеса сторонние ресурсы и технологии, которыми точно так же могут пользоваться и конкуренты. При этом ни одна компания не получит от этого столько выгоды, как OpenAI. Разумеется, у GPT-3 есть и проблемы с качеством текста. Как и многие другие алгоритмы, нейросеть неспособна избегать пагубных тенденций.
К примеру, медицинский чат-бот, созданный на базе GPT-3, советовал пациентам с суицидальными наклонностями поддаться негативу и «сделать это». Эти особенности нейросети в общем-то не являются непреодолимыми, однако их определённо нужно учитывать при создании тех или иных программных продуктов. В прошлом году разработчики из «Сбера» выпустили и русскоязычную версию алгоритма GPT-3.
Для этого они совместно с AGI NLP они собрали массив текстов размером 600 гигабайтов, а для обучения использовали русскую литературу, русскую и английскую «Википедию», новостные сайты, публичные разделы портала Pikabu и Omnia Russica. Как и в случае с оригинальной англоязычной моделью GPT-3, модель «Сбера» при этом не полностью русскоязычная: доля иностранных языков в обучающей выборке составила 10%.
Разработчики «Сбера» для обучения взяли модель GPT-3 Large: Open AI представили несколько моделей GPT-3, отличающихся количеством параметров — от 125 миллионов до 175 миллиардов. Для обучения использовали суперкомпьютер «Кристофари», а исходный код модели разработчики выложили на GitHub. Русскоязычная модель, судя по результатам работы, умеет выполнять то же самое, что и оригинальная — даже создавать небольшие массивы программного кода.
