Оживить фото и заставить говорить: Сбер открыл доступ к Kandinsky Avatar
- Сбер открыл разработчикам Kandinsky Avatar 1.0: код и веса доступны под лицензией MIT, в том числе для коммерческих проектов.
- Модели создают ролики до минуты: Pro — в HD, Lite — в SD и на домашних видеокартах; для генерации нужны фото, аудиозапись и описание сцены.
- В слепом тестировании Kandinsky Pro выбирали чаще Kling Avatar 2, LongCat-Avatar-1.5 и HeyGen IV — в 63%, 60% и 54% сравнений соответственно.
Почему это важно: Разработчики смогут использовать технологию в образовательных платформах, видеокурсах, играх и других сервисах; Сбер планирует внедрить видеоаватары в свои продукты.
Сбер открыл разработчикам доступ к Kandinsky Avatar 1.0 — семейству нейросетевых моделей для создания говорящих видеоаватаров на основе фотографии и аудиозаписи. Код и веса моделей опубликованы под лицензией MIT на GitHub, GitVerse и Hugging Face. Их можно бесплатно использовать в коммерческих проектах.
Модель генерирует ролики продолжительностью до минуты с частотой 24 кадра в секунду. Для создания видео достаточно загрузить изображение, запись голоса и короткое текстовое описание сцены. Нейросеть синхронизирует движения губ с речью, добавляет мимику, повороты головы и жесты. Эмоции персонажа, например радость или грусть, можно задавать текстом. При этом модель не синтезирует и не копирует голос, а использует предоставленную пользователем аудиозапись.
Kandinsky Avatar 1.0 представлена в двух вариантах. Версия Pro создаёт видео в HD-разрешении, а облегчённая Lite работает на обычных домашних видеокартах и генерирует ролики в SD. Обучение проводилось на более чем 1 млн видеофрагментов на 95 языках.
В ходе слепого тестирования Pro сравнивали с Kling Avatar 2, LongCat-Avatar-1.5 и HeyGen IV. Ролики Kandinsky выбирали чаще конкурентов: в 63%, 60% и 54% сравнений соответственно. Наибольшее преимущество модель показала в синхронизации артикуляции с речью и естественности движений.
Разработчики смогут использовать технологию для образовательных платформ, виртуальных консультантов, видеокурсов, локализации контента, игр и сервисов для создания персональных видеообращений. В дальнейшем Сбер намерен внедрить видеоаватары в собственные продукты.
© iXBT
