Text-to-Video. Visper – новая платформа визуальных персонажей для создания видеоконтента

rcx6imhgq3nj9htqlqbu_fvegxc.png

SberDevices запустила открытое бета-тестирование платформы Visper, где можно легко превратить текст в видеоролики с визуальными персонажами. Это может быть полезно, например, при создании презентаций, обучающих видео, новостных выпусков, контента для пабликов в социальных сетях и должно упростить и удешевить продакшен. 


Образ визуального персонажа можно сформировать под свою задачу, выбрав одежду, причёску и даже голос. Чтобы ролики было интереснее смотреть, прямо по тексту можно расставлять жесты — в нужный момент виртуальный аватар поздоровается со зрителями или обратится к ним во время рассказа. Очень скоро мы добавим автоматический подбор жестов: пользователю достаточно будет загрузить текст и проверить, правильные ли подсказки визуальный персонаж получил от алгоритмов.

st6kzz7yh1pdp8jtapvnzax_wk8.png
Так выглядит монтажный стол, где создаётся ролик. В тексте проставлен жест представления

У платформы Visper есть удобная фича — можно создавать видео из файлов в формате pdf, загружая, например, готовые презентации.

luqpa2vxqoa9eu3zoz9ceeseta0.png
 Экран создания нового ролика

Прототипом для цифровых аватаров послужила виртуальная ведущая Елена. Владельцы SberBox и SberPortal, а также читатели онлайн-портала Ferra.ru знакомы с ней по новостным выпускам, которые она там ведёт.  

Внешность виртуальной ведущей мы «позаимствовали» у реальной девушки-актрисы. Чтобы собрать все данные, необходимые для создания аватара, потребовалось около шести часов съёмок: актриса читала на камеру специально разработанные нами тексты, которые призваны максимально раскрыть особенности человеческого артикуляционного аппарата. В итоге мы получили парный датасет — он состоит из голоса и соответствующих ему кадров видео. Используя этот датасет, мы обучаем нейросеть по звуку генерировать соответствующее ему положение губ. Такая синхронизация звука и движений губ называется липсинк (Lip sync). 

В скором времени возможности платформы существенно расширятся, в том числе пополнятся решениями для геймдев-индустрии, когда на базе инструментов Visper разработчики смогут создавать аватаров и персонажей для игр.

Чтобы создать собственное видео с цифровым ведущим, достаточно зарегистрироваться на сайте visper.tech. На этапе бета-тестирования доступ к платформе для пользователей будет открыт бесплатно.

© Habrahabr.ru