Сервис стриминга аниме Crunchyroll начал апскейлить мультфильмы нейросетями
В плеере стриминговой аниме-платформы Crunchyroll появилась опция апскейлинга картинки до разрешения 2160P (4K). Повышение качества достигается с помощью использования двух сервисов — Waifu2x и Anime4k.
«Каталог Crunchyroll охватывает большое количество видеоконтента, включая аниме, которое распространялось на DVD или транслировалось по телевидению стандартной четкости с разрешением 480P вплоть до современного аниме с разрешением 1080P. Однако современные экраны могут работать с более высоким разрешением, а потоковые платформы поддерживают высокую скорость интернета. Таким образом, аниме на телевизорах и мониторах 4K масштабируется с исходного разрешения (максимум 1080P) до разрешения дисплея пользователя. Если скорость интернета ограничена или если пользователь хочет сохранить отдельный эпизод, ему будет доступно аниме с более низким разрешением, которое потом также будет увеличено до разрешения монитора или телевизора с помощью декодирования и рендеринга видео», — сообщает Crunchyroll.
Сервис предлагает пользователям возможность апскейлинга картинки, используя два способа масштабирования — на собственной платформе (до того, как файл будет доступен для потоковой передачи) и динамическое масштабирование, которое происходит в режиме реального времени во время потоковой передачи.
Для масштабирования самого файла Crunchyroll использует программное обеспечение Waifu2x. Например, аниме Naruto Shippuuden вышло в феврале 2007 года, и его разрешение на Crunchyroll изначально составляет 480P. При помощи Waifu2x видео апскейлится до 720p и даже до 2160P (4K).
Для масштабирования в реальном времени используется GPU Anime4k, созданное пользователем GitHub bloc97. Сервис представляет собой «современный алгоритм повышения качества аниме в реальном времени».
«Многие алгоритмы масштабирования не подходят для работы в реальном времени из-за множества факторов. Результаты работы таких алгоритмов, как Bicubic или xBR, неудовлетворительны. Эти алгоритмы были созданы для другого контента и смягчают границы рисунка, что недопустимо для аниме. Подходы, основанные на машинном обучении (такие как waifu2x, VDSR, EDSR и т.д), слишком медленные для работы в реальном времени, особенно с разрешением UHD», — указывают разработчики Anime4k.
Авторы алгоритма отмечают, что, как правило, кадры аниме не содержат много текстур. В основном, они состоят из плоских заштрихованных объектов и линий. Таким образом, зритель может быстро заметить низкокачественную картинку, поскольку заметна даже небольшая размытость.
«Поэтому мы решили найти хороший алгоритм уточнения границ. Четкие края важнее для масштабирования аниме, чем восстановление мелких деталей, таких как текстура. Как правило, чем менее размыто изображение, тем тоньше линии границ рисунка. Наш алгоритм пытается минимизировать толщину линии. Цель состоит в том, чтобы модифицировать LR_U (размытое изображение), пока его границы не станут самыми тонкими, что даст нам HR (чёткое) изображение».
Кроме того, в плеере Crunchyroll также доступен апскейл субтитров.
«Благодаря тому, что Crunchyroll использует субтитры, которые накладываются на видео, а не встроены в исходный видеофайл, мы масштабируем видео и субтитры отдельно там, где это возможно», — указывает сервис.
Включить фильтр апскейлинга пользователь может по желанию. Применять функцию можно ко всему контенту, который воспроизводится с помощью проигрывателя Crunchyroll Velocity. Чтобы воспользоваться функцией, необходимо загрузить видео на сайте Crunchyroll, кликнуть правой кнопкой мыши на плеере и включить функцию Advanced Quality Controls. Далее необходимо выбрать раздел Advanced Controls и включить Anime4k.
