Перевод состоит из распознавания речи, машинного перевода и синтеза аудио; обработка может идти на телефоне, в облаке или одновременно там и там.
В идеальных условиях перевод занимает несколько секунд, но шум, диалекты и сленг могут вызывать задержки и ошибки; точность 95–99% требует почти идеальных условий.
Timekettle предлагает 14 языковых пар для офлайн-перевода: две бесплатны, остальные стоят 10 долларов; для перевода медиаконтента и расширенных функций ИИ нужен интернет.

Почему это важно: При выборе важно проверить интернет-зависимость модели и наличие нужных функций для звонков и прослушивания медиаконтента.

Вот как они работают и чего от них реально можно ожидать.

Однажды вам больше не придется знать японский или обращаться к переводчику, чтобы свободно общаться с японцем: для общения со всем миром будет достаточно одного языка. Именно такое грандиозное обещание дают большинство проектов по созданию наушников-переводчиков, а благодаря последним достижениям в области ИИ эта цель стала ближе, чем когда-либо.

На первый взгляд наушники-переводчики кажутся простым технологическим устройством. Например, с Apple AirPods Pro достаточно подключить их к iPhone, выбрать языки в приложении «Перевод» и включить синхронный перевод. Затем, пока собеседник говорит, наушники за несколько секунд переводят его речь на ваш язык. В некоторых других моделях один наушник нужно передать собеседнику.

Но за этой простотой скрывается сложный процесс преобразования речи с китайского на английский. Работа наушников-переводчиков состоит из трех основных этапов: распознавание речи, машинный перевод (обработка аудио) и синтез речи.

Сначала происходит распознавание речи. Наушники-переводчики улавливают голос собеседника с помощью микрофонов. В моделях высокого класса применяются различные технологии, позволяющие отделить голос от фонового шума. Например, в Soundcore Liberty 5 Pro используются восемь микрофонов, два датчика костной проводимости и специализированная модель ИИ. В некоторых других моделях для достижения похожих результатов применяются два микрофона или микрофоны с формированием направленного луча.

После захвата голоса наступает этап обработки аудио. На этом этапе звук обрабатывается на подключенном телефоне, в облаке или одновременно там и там. Конкретный процесс зависит от производителя. В Apple AirPods Pro вся обработка выполняется на iPhone после загрузки языковых пакетов. Google Pixel Buds обрабатывают перевод в облаке, поэтому им нужно подключение к интернету. Во время обработки распознавание речи преобразует звук — голос собеседника — в текст, который затем переводится на нужный язык. На этом этапе для понимания смысла и контекста предложения используется обработка естественного языка (NLP). Некоторые наушники-переводчики также используют большие языковые модели, например ChatGPT, чтобы точнее учитывать контекст.

Затем происходит синтез речи. После распознавания и перевода речи собеседника генерируется аудио с синтетическим голосом. Оно отправляется на телефон, а тот передает его на наушники по Bluetooth, чтобы они воспроизвели перевод. Некоторые наушники-переводчики, включая Apple AirPods Pro и Galaxy Buds Pro, могут выполнять весь процесс перевода без подключения к интернету, тогда как другим требуется стабильное соединение. Если для вас это важно, уточните этот момент перед покупкой.

По сравнению с первыми моделями современные наушники-переводчики работают гораздо лучше. Но широко рекламируемая точность в 95 или 99 процентов — не более чем маркетинговая уловка (по крайней мере, пока). Да, многие наушники-переводчики действительно могут обеспечивать точность в 99 процентов — само по себе это утверждение не ложно. Однако для этого нужны почти идеальные условия, которые за пределами лаборатории производителя встречаются крайне редко.

Помимо этого, к распространенным недостаткам наушников-переводчиков относятся скорость работы и точность. При благоприятных условиях весь процесс — от захвата речи до обработки аудио и синтеза речи — занимает несколько секунд, а если условия далеки от идеальных, еще больше. Из-за задержки разговор может идти медленно. Кроме того, время от времени возникают ошибки перевода. Их могут вызывать невнятная речь собеседника, редкие диалекты, сленг, слова-омонимы, идиомы и сильный фоновый шум. А чем менее распространена языковая пара, тем чаще возникают такие «единичные» ошибки.

Использование без интернета тоже накладывает свои ограничения. Сейчас Timekettle предлагает 14 языковых пар для офлайн-перевода: первые две доступны бесплатно, а остальные стоят по 10 долларов. Однако для перевода медиаконтента, звонков и расширенных функций ИИ нужно подключение к интернету. Многие наушники-переводчики также подходят для обычных звонков и прослушивания медиаконтента. Поэтому, если вы покупаете их не только ради перевода, проверьте, есть ли в них нужные вам функции — так не придется приобретать две отдельные пары наушников.

Полный текст статьи читайте на GDGT.ru прочитано 223 раза