NVIDIA разработала софт по анимации 3D-модели лица на основе голоса
3D-технологии на базе ИИ активно развиваются. У разных компаний появляются достойные внимания проекты, которые, например, позволяют синтезировать голоса известных людей и по лицензии использовать их при озвучке фильмов или мультиков. Новые проекты появляются почти каждую неделю.
Не так давно компания NVIDIA представила свой собственный проект Audio2Face, который базируется на платформе NVIDIA Omniverse. Она дает возможность создавать модели в режиме реального времени. Для анимации нужно загрузить образец голоса, и искусственный интеллект проработает анимацию лица 3D-модели. Более подробно о проекте — в продолжении.
Ранее компания показывала лишь демонстрационные видео и обучающие ролики. Сейчас же платформа доступна для тестирования. На сайте компании можно загрузить открытую бета-версию программы. По словам разработчиков, технология позволяет работать как с уже готовым файлом модели головы человека, так и создавать анимацию в реальном времени. Все, что нужно для начала работы — загрузить в приложение уже имеющуюся дорожку или же говорить в микрофон.
Загруженный аудиофайл или речь в режиме реального времени обрабатывает нейросеть, обученная на «привязку» звуков к 3D-модели лица. Сейчас программа работает еще не идеально, но разработчики утверждают, что в ближайшее время исправят все проблемы.
Демонстрационная модель предоставляет в распоряжение пользователя модель персонажа из Digital Mark. При необходимости можно взять модель лица с любыми другими чертами. Кроме того, анимацию с лица человека можно перенести на любые 3D-модели, включая, например, модель головы носорога.
К сожалению, пока что программа работает не со всеми языками. Но и того, что есть, вполне достаточно — доступны английский, французский, итальянский и русский языки. В компании обещают, что в ближайшем будущем программа сможет работать с любыми языками. О том, как работать с новым программным пакетом, специалисты компании рассказывают на сайте NVIDIA.
