Использование нейронной сети для восстановления повреждённых изображений

Группа исследователей из Сколковского института науки и технологий, компании Yandex и Оксфордского университета опубликовала свои наработки в области применения свёрточных нейронных сетей для восстановления утерянных участков повреждённых изображений, устранения артефактов и повышения качества фотографий с низким разрешением. Реализация алгоритма, модель нейронной сети, созданная на базе библиотеки Torch, а также сопутствующий инструментарий, доступны под лицензией Apache 2.0. 0_1514622160.png 0_1514622182.png 0_1514622237.png 0_1514622257.png 0_1514622276.png

Предложенный алгоритм, который получил название Deep Image Prior, комбинирует два наиболее популярных метода восстановления изображений — использование машинного обучения и алгоритмы на основе вероятного повторения содержимого соседних областей. В отличие от других алгоритмов на основе методов машинного обучения, Deep Image Prior для определения оптимального пути реконструкции изображения используются данные непосредственно из обрабатываемого изображения, а не данные накопленные в процессе машинного обучения нейронной сети на большой коллекции примеров изображений. Нейронная сеть используется в качестве генератора, который изначально инициализируется случайными данными, которые затем постепенно корректируются на основе выделенной из обрабатываемого изображения статистической информации.

0_1514622210.png 0_1514656077.jpg 0_1514655728.png 0_1514655781.png 0_1514655800.png 0_1514655838.png 0_1514655861.png 0_1514655895.png 0_1514655929.png 0_1514655973.png

Из других алгоритмов, использующих для восстановления изображений свёрточные нейронные сети, отмечаются проекты pixelNN (код) и EnhanceNet-PAT (код). PixelNN пытается воссоздать утраченные детали изображения, используя нейронную сеть, предварительно обученную на большой коллекции изображений, синтезирующую недостающие элементы на основе сопоставления оптимальных совпадений с ранее обработанными изображениями.

0_1514656612.png

Алгоритм EnhanceNet-PAT специализируется на выполнения операций повышения разрешения изображений и улучшения качества старых фотографий, например, позволяя приводить старые фильмы к разрешению 4K или улучшать качество изображений с web-камер. В случае EnhanceNet-PAT нейронная сеть обучается на основе большой коллекции высококачественных текстур. В процессе анализа на изображении выявляются похожие текстуры и для улучшениях их качества используются данные, накопленные в процессе машинного обучения.

0_1514657274.png

©  OpenNet