Яндекс добавил автоматический перевод любых англоязычных видео в «Яндекс.Браузере»
Новая разработка стирает языковой барьер — теперь можно смотреть любые англоязычные видеоролики в хорошем переводе, от лекций до стендапов.
«Яндекс» показал прототип технологии ещё в июле, но тогда она работала в тестовом режиме — не на всех видеороликах и только в стационарной версии «Яндекс.Браузера». Теперь нам доступен перевод видеороликов, на которые не действует лицензирование — например, посмотреть сериалы с Netflix в переводе не выйдет, но видео с YouTube, TikTok, Twitter, Facebook, «ВКонтакте» и Vimeo перевести получится.
Посмотрите, как хорошо работает технология:
Перевод доступен в приложениях Яндекса на Windows, Linux, macOS, Android и iOS. Для работы функции нужно открыть сайт с видео в «Яндекс.Браузере». Перевод видео может занять несколько минут, доступно два голоса — женский (как у помощника «Алиса») и мужской.
Яндекс уже умеет переводить текст, изображения и видео. Перевод складывается из нескольких этапов:
- Распознавание речи. Если у видеоролика есть загруженные вручную субтитры, используются они — зачастую они очень хороши, в отличие от сгенерированных другой платформой.
- Распознанный текст приводит в порядок нейронная сеть, убирая лишние вставки и расставляя знаки препинания.
- Очищенный результат распознавания отправляется на перевод. Переводчику передаётся контекст — говорит ли реплику мужчина или женщина.
- Переведенный текст озвучивается — его нужно совместить с видеорядом. Нейросеть подгоняет длину русских реплик под английские — сокращает паузы между словами и, если нужно, немного ускоряет темп речи, прямо как переводчики-синхронисты.
