Компания Mozilla опубликовала собственную систему машинного перевода
Компания Mozilla выпустила инструментарий для самодостаточного машинного перевода с одного языка на другой, работающий на локальной системе пользователя без обращения к внешним сервисам. Проект развивается в рамках инициативы Bergamot совместно с исследователями нескольких университетов Великобритании, Эстонии и Чехии при финансовой поддержке Евросоюза. Наработки распространяются под лицензией MPL 2.0.
Проект включает в себя движок bergamot-translator, инструменты для самостоятельной тренировки системы машинного обучения и готовые модели для 14 языков, включая экспериментальные модели для перевода с английского на русский язык и наоборот. Уровень перевода можно оценить на online-демонстрации.
Движок написан на языке C++ и представляет собой обвязку над фреймворком машинного перевода Marian, в котором применяется рекуррентная нейронная сеть (RNN) и языковые модели на основе трансформеров. Для ускорения обучения и перевода может использоваться GPU. Marian также используется для обеспечения работы сервиса перевода Microsoft Translator и развивается в основном инженерами из Microsoft совместно с исследователями из Эдинбургского и Познанского университетов.
Для пользователей Firefox подготовлено дополнение для перевода web-страниц, осуществляющее перевод на стороне браузера без обращения к облачным сервисам. Дополнение теперь доступно не только для бета-выпусков и ночных сборок, но и для релизов Firefox. В браузерном дополнении движок, изначально написанный на С++, компилируется в промежуточное бинарное представление WebAssembly при помощи компилятора Emscripten. Из новых возможностей дополнения отмечается возможность перевода во время заполнения web-форм (пользователь вводит текст на родном языке и он на лету переводится на язык текущего сайта) и оценка качестве перевода с автоматической пометкой сомнительных переводов для информирования пользователя о потенциальных ошибках.
Источник: http://www.opennet.ru/opennews/art.shtml? num=57292
© OpenNet