Mozilla выпускает локальные инструменты машинного перевода в рамках проекта Bergamot
В январе 2019 года Mozilla присоединилась к Эдинбургскому университету, Карловому университету, Университету Шеффилда и Тартускому университету в рамках проекта под названием Project Bergamot, финансируемого Европейским Союзом. Конечная цель этого консорциума заключалась в создании набора нейронных инструментов машинного перевода, которые позволили бы Mozilla разработать надстройку для перевода веб-сайтов, работающую локально, т. е. механизмы, языковые модели и алгоритмы перевода на странице должны были бы находиться и выполняется полностью на компьютере пользователя, поэтому никакие данные не будут отправлены в облако, что сделает их полностью конфиденциальными.
Кроме того, необходимо было ввести две новые функции. Первым был перевод форм, позволяющий пользователям вводить текст на своем родном языке, который динамически переводится на лету на язык страницы. Второй особенностью была оценка качества переводов, при которой переводы с низкой достоверностью должны автоматически выделяться на странице, чтобы уведомить пользователя о возможных ошибках.
Этот набор требований поставил перед командой ряд технологических проблем: механизм перевода был полностью написан на языках программирования, которые компилируются в собственный код. Нужен был способ упростить распространение проекта, чтобы избежать накладных расходов, связанных с предоставлением сборок, совместимых со всеми платформами, поддерживаемыми Firefox — это было бы невозможно масштабировать и поддерживать. Кроме того, движок должен был достаточно быстро работать на процессорах и не полагаться на графические процессоры, как это традиционно требуется для решений глубокого обучения.
Решение состояло в том, чтобы разработать высокоуровневый API вокруг механизма машинного перевода, перенести его на WebAssembly и оптимизировать операции умножения матриц для эффективной работы на ЦП. Это позволило не только разработать надстройку для перевода, но и интегрировать локальный машинный перевод на каждую веб-страницу, что позволяет пользователю выполнять переводы в свободной форме без использования облака.
Надстройка «Переводы» теперь доступна в магазине дополнений Firefox для установки в Firefox Nightly, Beta и в общей версии. В дополнении вы увидите кнопку для заполнения опроса, который поможет сотрудникам Project Bergamot понять, в каком направлении следует развивать продукт.
Эта работа согласуется с обязательством Mozilla по обеспечению доступности Интернета для всех, независимо от их языка, а также созданию проектов с открытым исходным кодом, представляющих ценность для нашего сообщества, с акцентом на конфиденциальность. Пожалуйста, присоединяйтесь к нам и присылайте предложения — нам нужны все ваши голоса, чтобы сделать это дополнение действительно доступным для всех.
Этот проект получил финансирование от исследовательской и инновационной программы Horizon 2020 Европейского Союза в соответствии с соглашением о гранте № 825303.
>>> Подробности
