Google Translatotron – технология синхронного перевода речи, имитирующая голос пользователя

Разработчики из Google представили новый проект, в рамках которого была создана технология, способная переводить устные предложения с одного языка на другой. Основное отличие нового переводчика под названием Translatotron от аналогов заключается в том, что он работает исключительно со звуком, не используя при этом промежуточный текст. Такой подход позволил существенно ускорить работу переводчика. Ещё один примечательный момент заключается в том, что система достаточно точно имитирует частоту и тон говорящего.

Создать Translatotron удалось благодаря непрерывной работе, которая заняла несколько лет. Исследователи из компании Google длительное время рассматривали возможность прямого преобразования речи, но до недавнего времени реализовать задуманное не удавалось.

Используемые в наши дни системы синхронного перевода чаще всего работают по одному алгоритму. На начальном этапе исходная речь трансформируется в текст. Затем текст на одном языке превращается в текст на другом языке. После этого, полученный текст превращается в речь на нужном языке. Этот способ неплохо работает, но он не лишён недостатков. На каждом этапе могут возникать ошибки, которые накладываются друг на друга и приводят к снижению качества перевода.

Для достижения необходимого результата исследователи провели изучение звуковых спектрограмм. Они старались добиться того, чтобы спектрограмма на одном языке превращалась в спектрограмму на другом языке, пропуская этапы преобразования звука в текст.

Пример спектрограмм источника и переведённой речи

Пример спектрограмм источника и переведённой речи

Стоит отметить, что несмотря на сложность такого преобразования обработка речи происходит за один шаг, а не за три, как это было прежде. Имея в своём распоряжении достаточный объём вычислительных мощностей, Translatotron будет осуществлять синхронный перевод значительно быстрее. Ещё одним важным моментом является то, что такой подход позволяет сохранить черты и интонацию исходного голоса.

На данном этапе Translatotron не может похвастаться такой же высокой точностью перевода, как у стандартных систем. Несмотря на это, исследователи говорят о том, что большинство осуществлённых переводов достаточно качественны. В дальнейшем работа над Translatotron будет продолжена, поскольку исследователи намерены сделать синхронный перевод речи более качественным.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

© 3DNews