Обучение Russian SuperGLUE моделей с помощью библиотеки DeepPavlov
Соревнования GLUE и SuperGLUE
В последние годы соревнования GLUE и SuperGLUE на английском языке стали стандартным бенчмарком для определения возможностей универсальных языковых моделей, таких как BERT, RoBERTa в решении широкого круга задач обработки естественного языка, в том числе задач с недостаточной обучающей выборкой. Соревнования GLUE/SuperGLUE представляют собой наборы задач NLP на основе ранее представленных датасетов. Академическое сообщество NLP довольно быстро расправилось с GLUE, отчасти вследствие того, что задачи были довольно однотипные, они сводились либо к парной текстовой классификации, либо к классификации единственной последовательности. Ответом на это был новый набор задач SuperGLUE, в состав которого вошли вопросно-ответные задачи, задачи кореференции и задачи семантического следования. На данный момент модели, обученные на базе ERNIE и DeBERT, превзошли качество разметки человеком.
Соревнование Russian SuperGLUE
Соревнования GLUE/SuperGLUE исключительно про английский язык, а что с русским? В 2020 нашими коллегами из команды AGI NLP Сбербанка, лаборатории Noah«s Ark Huawei и факультета компьютерных наук ВШЭ был представлен Russian SuperGLUE — набор задач на понимание текста по аналогии с его английской версией SuperGLUE. Создание набора задач для русского языка позволило сравнивать качество предобученных универсальных языковых моделей русского языка. В отличие от SuperGLUE некоторые датасеты русского языка были собраны и размечены специально для Russian SuperGLUE. Таким образом, задачи Russian SuperGLUE отражают особенности русского языка, например, более свободный порядок слов, чем в английском. Подробнее про Russian SuperGLUE в можно узнать в статье неподражаемой @Rybolos.
На данный момент лидерборд Russian SuperGLUE содержит более двадцати сабмитов на основе разных универсальных языковых моделей. Среди них сабмит на дообученном русcком BERT. Однако на момент написании статьи ни одна из моделей так и не превзошла качество разметки человеком. Значит, соревнование до сих пор остается актуальным.
Сравнение моделей jiant и DeepPavlov для задач Russian SuperGLUE
Исторически в качестве тестового стенда для задач SuperGLUE использовалась библиотека jiant, разработанная в группе машинного обучения Нью-Йоркского университета. В библиотеку интегрированы задачи GLUE, SuperGLUE и EXTREME. Библиотека поддерживает многозадачное обучение, методы переноса знаний. Однако неожиданно для всех в 2021 году разработчики библиотеки сообщили, что они более не собираются поддерживать jiant.
Мы в DeepPavlov не могли оставить сообщество без поддержки этих моделей и в новом релизе подготовили для вас наши базовые решения для задач соревнования Russian SuperGLUE, которые по усредненным метрикам качества превосходят аналогичные базовые решения jiant. Все модели реализованы на PyTorch с использованием пакета transformers
