Фото человека «оживили» по звуку его голоса (видео)
Команда исследователей из NTU Singapore разработала компьютерную программу, которая создает реалистичные видеоролики, отражающие выражение лица и движения головы говорящего человека, сообщает ScienceDaily. Для этого потребуется только аудиозапись голоса и фотография лица.
DIRFA — это программа на основе искусственного интеллекта, которая записывает аудио и фотографии, после чего создает 3D-видео. На этих видео показывается реалистичная и последовательная анимация лица, синхронизированная с речью.
Создание реалистичных выражений лица с использованием звука — сложная задача. Один аудиосигнал может иметь множество возможных выражений лица. Звук обычно связан с движениями губ, но менее связан с остальными движениями мимики и положением головы. Команда стремилась к тому, чтобы движения губ говорящего были в точном соответствии с тем, что он говорит. Лицо должно было выражать эмоции и двигаться естественно.
Чтобы решить эту проблему, команда разработала свою модель искусственного интеллекта DIRFA, чтобы фиксировать сложные взаимосвязи между звуковыми сигналами и лицевой анимацией. Команда обучила свою модель более чем миллиону аудио- и видеоклипов от более 6000 человек, полученных из общедоступной базы данных.
DIRFA смоделировала вероятность лицевой анимации (например, приподнятая бровь или сморщенный нос) на основе входного аудио. Это моделирование позволило программе преобразовать аудиовход в разнообразные, но очень реалистичные последовательности анимаций лица.
Помимо добавления дополнительных опций и улучшений в интерфейс DIRFA, исследователи будут совершенствовать выражения лица с помощью более широкого диапазона наборов данных с лицами и голосами.
DIRFA может использоваться в различных областях. В здравоохранении она сможет создать более сложные и реалистичные виртуальные помощники и чат-боты, улучшая взаимодействие с пользователем. Программа также может служить инструментом для людей с нарушениями речи или мимики, помогая им передавать свои мысли и эмоции через выразительные аватары или цифровые изображения, улучшая их способность общаться.
Между тем эксперты Австралийского национального университета выяснили, что созданные искусственным интеллектом лица теперь кажутся более реальными, чем настоящие человеческие лица.
Ранее нейросети показали, как выглядят люди со смартфонной зависимостью. Листайте фото в галерее:
