VK Видео представил NeuroHD — собственную технологию, повышающую качество видео
Пресс-служба VK Видео рассказал редакции Хабра о введённой системе автоматического повышения качества и разрешения видеороликов на основе собственной нейросетевой технологии NeuroHD. Как заверил сервис, она позволяет в два раза повысить качество роликов, убрать шумы и дефекты, а также восстановить утерянные при сжатии детали. Опцию вводят в социальных сетях «ВКонтакте» и «Одноклассники».
«Мы заметили рост популярности фильтра «Высокое качество» в поиске видео. Чтобы удовлетворить запрос пользователей VK Видео, мы разработали ML-технологию улучшения качества видео NeuroHD. Она обеспечивает преобразование видеороликов на real-time скорости и обладает высокой производительностью для эффективного использования вычислительных мощностей платформы и клиентских устройств. В NeuroHD нам удалось найти уникальное сочетание настроек модели, данных для обучения и инфраструктурных решений. В итоге 40 миллионов пользователей VK Видео теперь смогут смотреть видео в повышенном разрешении, даже если изначально оно таковым не являлось. Мы рассчитываем, что эта возможность станет одним из драйверов вовлечённости зрительской и авторской аудитории», — рассказал Александр Тоболь, CTO ВКонтакте, VK Видео и VK Звонков.
Как указал VK Видео, NeuroHD — продвинутая нейросеть из семейства генеративно-состязательных сетей (GAN). При её обучении использовали две модели — одна генерирует увеличенные изображения, другая проверяет сгенерированные изображения, чтобы они не отличались от настоящих. Архитектура нейросети содержит специальные элементы временной консистентности, которые позволяют использовать для улучшения кадра информацию о соседних фрагментах, за счёт чего получаются более чёткие изображения без «плавающих артефактов».
При разработке нейросети команда VK Видео делала акцент на устранении артефактов сжатия. Ключевую роль в обучении сыграл специально сконструированный набор данных для обучения, включивший в себя многомиллионную библиотеку сервиса. За счёт этого нейросеть умеет повышать разрешение широкого спектра роликов — профессиональных и любительских, горизонтальных и вертикальных, динамических и статичных, длиной в часы или несколько секунд.
Видео с повышенным разрешением уже доступны в нескольких группах и публичных страницах «ВКонтакте». Администраторы могут отправить запрос, чтобы ускорить процесс и подключить опцию в своих сообществах. Повышенное разрешение видео поможет оценить стриминг на сетевые медиаплееры Chromecast и AirPlay, доступный всем пользователям VK Видео.
