Россиянин превратил старые чёрно-белые фильмы в цветные 4K-видео. Как такое возможно
В 1906 году братья Майльз выпустили документальный фильм Поездка по Маркет-стрит, снятый в Сан-Франциско в начале XX века.
Спустя чуть более ста лет Денис Ширяев превратил фильм во что-то ещё более волшебное.
Используя различные алгоритмы, Ширяев раскрасил видео, увеличил резкость пленки до 4K, а количество FPS до 60.
Поездка по Маркет-стрит: 1906 год
Это нельзя назвать реставрацией фильма, поскольку алгоритмы не только избавляют картинку от недостатков, но еще добавляют недостающие детали, которые изначально отсутствовали на пленке.
Мы называем это улучшением, потому что тренируем нейросети. И когда нейросети перерисовывают изображения, они добавляют новый слой данных. Следовательно, колоризация является улучшением. Апскейлинг — это улучшение. Кадровая интерполяция — это улучшение.
Денис Ширяев
Алгоритм DeOldify отвечает за цветокоррекцию. Он был обучен на 14 миллионах изображений, чтобы понять, как обычно выглядят различные предметы.
Лунный автомобиль, экспедиция «Аполлон-16»: 1972 год
DeOldify распознает определенные объекты, например, траву, деревья и людей в разной одежде. Исходя из своей базы знаний, он автоматически заменяет черно-белые участки на цветные.
Алгоритм не идеален. Он хорошо работает только с объектами, на которых обучался, поэтому бывают ситуации, когда DeOldify подбирает неправильный цвет. Особенно эта проблема характерна для флагов.
Токио: 1913—1915 год
Апскейлингом, то есть увеличением разрешения, занимается ESRGAN. Для его обучения использовались парные изображения: одно низкого качества, а другое высокого.
В видео ESRGAN анализирует каждый пиксель и на основе своей базы масштабирует картинку.
Конечно, сверхчетких деталей ждать не стоит, но надписи и крупные объекты выглядят вполне прилично.
Москва, ул. Тверская: 1896 год
Алгоритм DAIN для интерполяции кадров, ищет взаимосвязь между заданным кадром и следующим. Затем он анализирует, как различные объекты меняют положение от одного кадра к другому.
DAIN также может «изучить» современный фильм и увеличить количество FPS с 30 до безумных 480.
Нью-Йорк: 1911 год
Ширяев обрабатывал видео в свободное время. По его словам, в первую очередь он хочет показать, на что способны современные модели машинного обучения.
В общем, я предположил, что если найти на ютубе все черно-белые видео, убрать из них художественные, оставив только документальные, и выбрать там самое популярное видео по просмотрам, оно может стать еще популярнее чем видео с поездом — так я наткнулся на видео с NYC 1911. Гипотеза подтвердилась и оно вызвало еще большую волну в плане хайпа, которую лениво расписывать.
Теперь приходится вечерами пилить какие-то эксперименты с нейронками для будущих видео, потому что я не хочу фокусироваться только на апскейле, но в целом показывать как круто сейчас в мире ML, и как быстро мы оказались в настоящем будущем.
Денис Ширяев
Все алгоритмы бесплатные, поэтому любой желающий может использовать их в своих целях. Для этого придется изучить документацию, а также найти компьютер с Linux и мощной видеокартой.
Графический процессор очень важен. Обработка Поездки по Маркет-стрит заняла почти полмесяца, потому что алгоритмы очень медленные.
Тем не менее, полученный результат точно оправдывает затраченное время. [Wired]
