«Яндекс» запустил синхронный перевод прямых трансляций в браузере
«Яндекс» запустил синхронный перевод прямых трансляций в собственном браузере. Функция пока работает в режиме открытого бета-тестирования и доступна только для некоторых каналов с трансляциями на YouTube.
Представители компании рассказали Хабру, что синхронный перевод видеороликов сильно отличается от перевода прямых эфиров. Если в первом случае нейросеть получает сразу всю звуковую дорожку и может понять контекст, то во втором случае такой возможности нет и текст надо переводить сразу.
Для качественной и быстрой работы разработчикам пришлось полностью переделать архитектуру технологии закадрового перевода видео. В синхронном переводе прямых трансляций участвует несколько нейросетей: первая распознаёт речь и сразу же переводит её в текст, вторая определяет пол спикера. На втором этапе подключается еще пара нейросетей: одна расставляет знаки препинания и выбирает те части, которые содержат законченные мысли. Их забирает еще одна нейросеть, которая переводит фразы на русский язык и сразу же озвучивает.
Мы продолжаем совершенствовать технологии, которые помогают стирать языковые границы в интернете. Например, за 10 месяцев пользователи Яндекс Браузера посмотрели 81 млн видеороликов с закадровым переводом. Потом мы взялись за субтитры, а теперь пришло и время перевода лайвов. Следующий шаг — перевод потоковых трансляций и видеороликов не только на YouTube, но и, например, в Twitch. Перевод трансляций уже можно запустить на английском, немецком, французском, итальянском и испанском. Далее мы добавим новые пары европейских языков, а также китайский, японский и другие.
Руководитель приложения «Яндекс» и «Яндекс Браузера» Дмитрий Тимко
Режим уже доступен в «Яндекс Браузере» для всех пользователей, но компания сообщает, что пока воспользоваться синхронным переводом прямых трансляций можно только на некоторых YouTube-каналах:
