Компьютер научили делать видео с языком жестов на основе речи28.11.2020 16:47

Получается реалистично

0258c2bcc921d4bb01bc29ca4bc6ab7e6ef217fd

Специалисты из Университета Суррея создали компьютерный алгоритм, который может генерировать фотореалистичное видео с языком жестов на основе речи. Это поможет облегчить коммуникацию с людьми с ограниченными возможностями и устранить необходимость в специально обученных переводчиках.

Сообщается, что исследователи использовали нейросеть, которая конвертирует разговорный язык в язык жестов. Систему назвали SignGAN. Она способна создавать на основе данных по жестам 3D-модели человеческих рук, которые их воспроизводят на видео.

Разработчики обучили алгоритм на видеороликах с настоящими переводчиками с языка жестов. Благодаря этому они добились реалистичности.

Недавно разработчики Google создали систему, способную распознавать язык жестов в видеозвонках. Она может отличить случайные движения рук от осознанных жестов.