В сети обсуждают новый ИИ-редактор видео Lucy: на что он способен
Компания Decart AI выпустила Lucy Edit — первую модель машинного обучения с открытым исходным кодом, которая изменяет видеоролики по текстовым описаниям. Технология позволяет пользователям давать команды на естественном языке типа «надень на девушку клоунский костюм» или «замени поезд на ракету», не используя сложные маски или разметку кадров.
Новая модель справляется с четырьмя типами редактирования видео. Первый — смена гардероба и аксессуаров: система может поменять одежду персонажа, добавить очки, шляпы или украшения. Второй тип — замена персонажей: люди превращаются в животных, монстров или известных героев по команде «замени человека на белого медведя».
Третий вид правок касается объектов в кадре — ИИ вставляет новые предметы или убирает существующие. Четвертый тип затрагивает фон и стиль: модель переносит сцену в другое место или меняет визуальный стиль, например превращает реальные кадры в двухмерную анимацию.
Lucy Edit построена на архитектуре Rectified Flow — это математический подход, который «соединяет данные с шумом прямой линией». Модель объединяет скрытое представление исходного видео с зашумленным представлением кадра, который генерируется в текущий момент. Такой метод обеспечивает точное применение изменений при сохранении исходного движения и деталей.
via GIPHY
Система работает не с отдельными пикселями, а в скрытом латентном пространстве — это ускоряет обработку и повышает стабильность результата. Архитектура включает высокосжимающий вариационный автоэнкодер и диффузионный трансформер, что позволяет обрабатывать видео как последовательность взаимосвязанных элементов.
Decart выпустила Lucy Edit в двух вариантах. Lucy Edit Dev с открытым исходным кодом содержит 5 миллиардов параметров и доступна исследователям через платформу HuggingFace. Более мощная Lucy Edit Pro работает через программный интерфейс API и предназначена для коммерческого использования.
Dev-версия построена на архитектуре Wan2.2 5B, что упрощает интеграцию с существующими рабочими процессами. Профессиональная версия обрабатывает видео быстрее и поддерживает более сложные сценарии редактирования.
Lucy Edit может кардинально изменить производство контента в медиаиндустрии. Кинопроизводители смогут вносить правки в отснятый материал — менять костюмы актеров, реквизит или фоны — без дорогостоящих пересъемок. Модель демонстрирует высокую точность локализованных правок и реалистичную интеграцию нового контента.
Также вышел еще один новый ИИ-сервис — Gamma 3.0 для создания презентаций. Подробности в статье.
