Нейросеть ColorFlow раскрашивает мангу, сохраняя идентичность объектов
ColorFlow анализирует сразу всю сцену, подбирая цвета, как художник, учитывающий общую цветовую гамму произведения.
Представлена ColorFlow — первая нейросеть, предназначенная для точной передачи цветов при колоризации последовательности изображений с использованием контекстной информации. Она позволяет автоматически раскрашивать чёрно-белые изображения, сохраняя идентичность объектов и обеспечивая соответствие цветов заданным эталонным изображениям.
ColorFlow разработана для автоматического раскрашивания больших объёмов изображений, что востребовано, например, в издательствах манги. Процесс раскрашивания в ColorFlow проходит в три этапа, обеспечивая высокое качество и точность цветопередачи. В отличие от существующих методов, ColorFlow не требует тонкой настройки для каждого объекта или извлечения его идентификатора. Вместо этого используется конвейер Retrieval Augmented Colorization, который позволяет колоризировать изображения с учётом цветовых эталонов.
Конвейер ColorFlow имеет разбитую на условные две ветви структуру: одна ветвь отвечает за извлечение цветовой идентичности, а другая — непосредственно за колоризацию. Вместо того чтобы настраиваться под каждый объект отдельно, ColorFlow анализирует сразу всю сцену, подбирая цвета, как художник, учитывающий общую цветовую гамму. Для этого нейросеть использует специальный механизм «внутреннего внимания», который помогает ей понимать взаимосвязь между разными частями изображения.
Для оценки эффективности ColorFlow разработан специальный бенчмарк ColorFlow-Bench. Результаты тестирования показывают, что ColorFlow превосходит существующие модели по ряду параметров, устанавливая новый стандарт в области колоризации группы изображений.
