Text-to-Video. Visper – новая платформа визуальных персонажей для создания видеоконтента
SberDevices запустила открытое бета-тестирование платформы Visper, где можно легко превратить текст в видеоролики с визуальными персонажами. Это может быть полезно, например, при создании презентаций, обучающих видео, новостных выпусков, контента для пабликов в социальных сетях и должно упростить и удешевить продакшен.
Образ визуального персонажа можно сформировать под свою задачу, выбрав одежду, причёску и даже голос. Чтобы ролики было интереснее смотреть, прямо по тексту можно расставлять жесты — в нужный момент виртуальный аватар поздоровается со зрителями или обратится к ним во время рассказа. Очень скоро мы добавим автоматический подбор жестов: пользователю достаточно будет загрузить текст и проверить, правильные ли подсказки визуальный персонаж получил от алгоритмов.
Так выглядит монтажный стол, где создаётся ролик. В тексте проставлен жест представления
У платформы Visper есть удобная фича — можно создавать видео из файлов в формате pdf, загружая, например, готовые презентации.
Экран создания нового ролика
Прототипом для цифровых аватаров послужила виртуальная ведущая Елена. Владельцы SberBox и SberPortal, а также читатели онлайн-портала Ferra.ru знакомы с ней по новостным выпускам, которые она там ведёт.
Внешность виртуальной ведущей мы «позаимствовали» у реальной девушки-актрисы. Чтобы собрать все данные, необходимые для создания аватара, потребовалось около шести часов съёмок: актриса читала на камеру специально разработанные нами тексты, которые призваны максимально раскрыть особенности человеческого артикуляционного аппарата. В итоге мы получили парный датасет — он состоит из голоса и соответствующих ему кадров видео. Используя этот датасет, мы обучаем нейросеть по звуку генерировать соответствующее ему положение губ. Такая синхронизация звука и движений губ называется липсинк (Lip sync).
В скором времени возможности платформы существенно расширятся, в том числе пополнятся решениями для геймдев-индустрии, когда на базе инструментов Visper разработчики смогут создавать аватаров и персонажей для игр.
Чтобы создать собственное видео с цифровым ведущим, достаточно зарегистрироваться на сайте visper.tech. На этапе бета-тестирования доступ к платформе для пользователей будет открыт бесплатно.
