Сравнение локальных моделей машинного перевода для английского, китайского и русского языков05.02.2024 16:45

«Машинный перевод — одна из наиболее актуальных и востребованных задач в сфере искусственного интеллекта, позволяющая снизить барьере в доступности информации на различных языках. При этом на просторах интернета преобладающим большинством данных на английском, и русском языках ссылка. Количество данных на китайском языке в открытом доступе становится с каждым днем всё больше.  Поэтому необходимо всё больше инструментов позволяющие использовать все эти языки для своей работы.

Я уже больше года занимаюсь задачей машинного перевода для языков с высоким ресурсом данных. Ранее я подготовил модель к продукту AgrosTranslate для перевода с Английского на Русский язык ссылка. Позже я выпустил открытую модель для перевода с Китайского на Русский язык и обратно ссылка. Позже, несколько человек, просили реализовать модель перевода с Русского на Английский, и анализируя эти запросы, я пришел к выводу, что данных моделей не достаточно, и решил подготовить обновленные модели, собрав весь свой прошлый опыт.

В рамках своей последней работы, на которую у меня ушло по меньшей мере 6 месяцев, я подготовил новые модели машинного  перевода, которые могут работать сразу с тремя языками, а это Английский, Русский и Китайский, в любом направлении перевода!

В этой работе я подготовил сразу 3 модели машинного перевода — это large, base и small. Так, чтобы каждый выбрал для себя нужную модель выбирая между скоростью и качеством перевода.

1. utrobinmv/t5_translate_en_ru_zh_small_1024 — small модель (наиболее быстрая)

2. utrobinmv/t5_translate_en_ru_zh_large_1024 — large модель (самый качественный перевод)

3. utrobinmv/t5_translate_en_ru_zh_base_200 — base модель (не уступающая по качеству модели large), но для более коротких текстов и более быстрая. 

Все 3 модели относятся к классу мультиязычных моделей, которые могут работать с любым из 3х языков.

Свою статью я бы хотел разделить на две части: где в первой сравнить их с существующими решениями локальных моделей машинного перевода от других компаний, а во второй  рассказать про свои новые модели более подробнее и методики их использования.

и так, поехали…

Сравнение моделей перевода для английского, китайского и русского языков

Модель машинного перевода при сравнении сразу для трех различных языков, требует, чтобы мы сравнили их сразу для 6 языковых пар: английский-китайский (en-zh), английский-русский (en-ru), китайский-английский (zh-en), китайский-русский (zh-ru), русский-английский (ru-en) и русский-китайский (ru-zh). Это означает, что нам нужно оценить эффективность моделей в разных направлениях перевода, что является достаточно сложной задачей.

В данном контексте компания Microsoft предоставляет отличный датасет NTREX, который идеально подходит для этой цели.

Датасет NTREX — включает только часть для тестирования, и создан специально для оценки моделей в задаче машинного перевода, для 128 различных языков.

Метрики для оценки качества моделей машинного перевода

Сложность оценки качества машинного перевода заключается в том, что метрика должна учитывать не только точность и грамматическую корректность перевода, но также и сохранение смысла и стиля исходного текста. Кроме того, машинный перевод может сталкиваться с проблемами, связанными с многозначностью слов, сленгом, идиомами и другими языковыми особенностями, что делает процесс оценки более сложным.

Другими словами, не всегда высокая оценка по одной метрике гарантирует качественный перевод. Поэтому для более полной картины необходимо использовать комбинацию различных метрик.

Более подробно про метрики в машинном переводе, можно найти в очень хорошей серии статей на habr.

Я скажу, что я взял максимальный набор метрик, которые смог запустить на своем компьютере. В качестве основы подсчета метрик, я использовал библиотеку evaluate

1. SacreBLEU — Наверно первая и наиболее популярная метрика для подсчета качества перевода. Которая подсчитывает общее количество слов и словосочетаний. Чем метрика больше тем лучше.

2. chrF (correlations with human rankings for 6-gram F1-score) — Метрика chrF опирается на подсчет совпадений символов, которые следуют друг за другом (character n-grams), в машинном и эталонном переводах, в отличие от использования токенов (token n-grams) для ROUGE. Чем метрика больше тем лучше.

3. BERTScore — Метрика определяется на основе сравнения близости контекстных эмбеддингов, извлеченных из предварительно обученной нейронной сети BERT. Чем метрика больше тем лучше.

4. TER (Translation Edit Rate) — Метрика, использующая подсчет минимального количества изменений, необходимых для приближения машинного перевода к наиболее точному эталонному переводу. Чем метрика меньше тем лучше.

5. METEOR (Metric for Evaluation of Translation with Explicit ORdering) — это метод оценки качества перевода, который основан на подсчете совпадений отдельных слов (unigrams) и учитывает precision, recall, а также обобщающий показатель гармонического среднего (Fmean). В отличие от BLEU или ROUGE, METEOR учитывает не только точные соответствия слов, но и наличие однокоренных слов или синонимов. Чем метрика больше тем лучше.

6. ROUGE (Recall-Oriented Understudy for Gisting Evaluation) — это набор метрик, основанных на подсчете совпадений слов и словосочетаний в машинном переводе и эталоне, также как и BLEU. Однако ROUGE учитывает не только точность, но и полноту, а также параметр F1. Чем метрика больше тем лучше.

7. GPU и CPU — Метрика оценки времени работы модели на процессоре и видеокарте. Данный параметр, в большинстве случае напрямую зависит от количества параметров в модели машинного обучения, и чем параметров больше, тем медленнее работает модель. Но зависимость не всегда линейная и сильно зависит в том числе от архитектуры нейросети. Для оптимизации таблиц в статье, я не стал приводить данные параметры в статье, вы можете с ними ознакомится в полной версии сравнения моделей. Метрика CPU не актуальна для моделей более 1 миллиарда параметров, так как я не стал оценивать на сколько долго обсчитываются данные модели на процессоре. Чем метрика меньше, тем лучше.

Модели машинного перевода

Для оценки моделей важно учитывать их размер, для этого я напротив названия модели, буду указывать размер по количеству параметров в модели. Например 418M — означает, что в модели 418 миллионов параметров, или 3.3B — означает, что в модели 3.3 миллиарда параметров. Более большие модели, могут иметь лучше качество перевода, но и делают это с меньшей скоростью. Также большие модели требуют очень много видеопамяти на вашей видеокарте. Например мне, специально пришлось уменьшать количество одновременно обрабатываемых предложений, для моделей более 1 миллиарда параметров, а модели более 2 миллиардов параметров мне пришлось запускать в режиме точности 8bit, чтобы они влезли в память моей видеокарты.

Ранее задачи машинного перевода решали, как задачу перевода с одного конкретного языка на какой то другой язык, и моделей машинного перевода было примерно столько же сколько языковых пар. В этом отношении наиболее известным проектом является проект OPUS-MT Хельсинского университета из Финляндии. 

В рамках данного проекта, было выпущено очень большое количество моделей машинного перевода для различных языковых пар, из этого списка нам потребуются модели:

1. Helsinki-NLP/opus-mt-zh-en — для пары китайский-английский

2. Helsinki-NLP/opus-mt-en-zh — для пары английский-китайский

3. Helsinki-NLP/opus-mt-en-ru — для пары английский-русский

4. Helsinki-NLP/opus-mt-ru-en — для пары русский-английский

Все модели opus-mt имеют примерно одинаковое количество параметров 74М.

для пар китайский-русский, русский-китайский моделей не существует, но мы возьмем, модель машинного перевода, из моей прошлой статьи: joefox/mbart-large-ru-zh-ru-many-to-many-mmt которая как раз и можно использовать для пар китайский-русский, русский-китайский.

Для задач перевода, в последние годы появилось большое количество мультиязычных моделей, это модели которые учатся переводить сразу на множество различных языков. Сразу несколько проектов открыто в компании «Meta» — признана экстремистской организацией в России. 

Первый проект mBART-50, в рамках которого разработана модель, которая переводит тексты сразу для 50 различных языков.

Второй проект M2M100, в рамках которого разработана модель, которая переводит тексты сразу для 100 различных языков.

Третий проект NLLB-200, в рамках которого разработана модель, которая переводит тексты сразу для 200 различных языков.

Из данных проектов мы возьмем следующие модели для сравнения:

1. facebook/nllb-200-distilled-1.3B — дистиллированная версия основной модели на 1.3 миллиарда параметров

2. facebook/nllb-200-distilled-600M — дистиллированная версия основной модели на 600 миллионов параметров

3. facebook/mbart-large-50-many-to-many-mmt — 582M параметров

4. facebook/m2m100_418M

Ещё, от данной компании, есть проект с двуязычными моделями WMT19, специализированный под задачу перевода новостей. Здесь под нашу задачу подойдет модель: facebook/wmt19-en-ru (279M) для перевода с Английского на Русский язык.

Сравнения моделей

Сравнение перевода для пары «английский-русский» (en-ru)

Сравнение перевода для пары «русский-английский» (ru-en)

Сравнение перевода для пары «английский-китайский» (en-zh)

Сравнение перевода для пары «китайский-английский» (zh-en)

Сравнение перевода для пары «китайский-русский» (zh-ru)

Сравнение перевода для пары «русский-китайский» (ru-zh)

Использование моделей

Для обучения моделей серии t5_translate_en_ru_zh использовался обширный набор текстов, полученных с сайта opus. Основной объем данных представлял собой корпус CCMatrix. Перед началом обучения проводилась очистка корпуса от ненужных элементов. 

На полученном корпусе текстов был обучен токенизатор, размерностью 65000 токенов.

Модели обучались с нуля, специально для задачи машинного перевода.

Одной из отличительных особенностей моделей является их способность не требовать указания исходного языка документа. Достаточно лишь указать язык, на который необходимо выполнить перевод, и модель самостоятельно определит, с какого из трех известных ей языков следует осуществить перевод. Это означает, что исходный текст может быть написан на нескольких языках, включая английский и китайский, и модель без труда справится с переводом даже в том случае, если в тексте содержатся китайские иероглифы.

Модели работают с разными объемами текста. В частности, модель small и large предназначена для перевода предложений, состоящих из не более чем 1024 токенов. Возможно, она также способна обрабатывать более длинные последовательности, но я не проводил проверку этого лично. С другой стороны, base модель обучалась на коротких последовательностях, состоящих не более чем из 200 токенов.

Для использования моделей вам необходимо использовать библиотеку transformers

from transformers import T5ForConditionalGeneration, T5Tokenizer

model_name = 'utrobinmv/t5_translate_en_ru_zh_large_1024'
model = T5ForConditionalGeneration.from_pretrained(model_name)
tokenizer = T5Tokenizer.from_pretrained(model_name)

prefix = 'translate to zh: '
src_text = prefix + "Съешь ещё этих мягких французских булок."

# translate Russian to Chinese
input_ids = tokenizer(src_text, return_tensors="pt")

generated_tokens = model.generate(**input_ids)

result = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
print(result)

В коде вы меняете значение переменной prefix исходя из требуемого языка, на который вам необходимо перевести. Возможны варианты:

1. prefix = 'translate to en:  '

2. prefix = 'translate to ru:  '

3. prefix = 'translate to zh: '

Результаты сравнения моделей

Наверное я не буду делать сам конкретных выводов по оценке качества моделей, цифры говорят сами за себя.

В целом можно сказать, что модели получились неплохими, и их вполне можно использовать на работе, а также для личных задач и проектах, может быть даже на соревнованиях.

1. utrobinmv/t5_translate_en_ru_zh_small_1024 — модель small можно брать как базовое решение, когда вам нужно провести какие то эксперименты, и вы хотите решить какую то задачу. или вашу задачу нужно решать на CPU.

2. utrobinmv/t5_translate_en_ru_zh_large_1024 — модель large, можно использовать для задач машинного перевода, когда ваша задача улучшить качество. Она показывает хорошие метрики на инференсе, если вы её используете на GPU.

3. utrobinmv/t5_translate_en_ru_zh_base_200 — модель base, просто получалась удачной по соотношению количества параметров и результата по метрикам. В некоторых тестах она даже обходит large модель. Так как училась на более коротких текстах до 200 токенов.

© Habrahabr.ru