Нейронная сеть превращает эскизы в фотографии
Команда из четырех нейробиологов в Университете Неймегена (Нидерланды) работает над превращением эскизов лиц в фотореалистические изображения при помощи сложных искусственных нейронных сетей. Результаты исследования Convolutional Sketch Inversion были впервые опубликованы в онлайн-архиве Европейской конференции компьютерной графики (ECCV) в Амстердаме.
Ученые сообщают, что их технология ориентирована в первую очередь на изобразительное искусство, но также будет полезна в области судебно-медицинской экспертизы, в частности при опознании людей.
«Мы вдохновлялись недавней работой по нейронной передаче, алгоритм которой позволяет преобразовывать фотографии в стиле рукописных картин», поделились Ямур Гачлутюрк и Умут Гучлу, кандидаты в доктора в области когнитвной нейробилогии, которые разработали программу исследования вместе с Марселем ван Гервеном и Робом ван Лиером.
Вот как сами исследователи описывают принцип работы их нейросети: Читать далее
«Допустим, что я, ученый, хочу научить вас, искусственные нейронные сети, как преобразовывать эскизы (на входе) в фотографии (на выходе). Во-первых, я создаю большую базу данных, состоящую из пар эскиз+фото. Я предоставляю вам эскизы и требую, чтобы вы преобразовали их в фото-формат. Вы выбираете произвольную стратегию, наиболее подходящую в данном конкретном случае, и следуете ей. Но ваши фотографии не будут похожи на фото в моем наборе данных. Я сравниваю вашу работу и исходный каталог и указываю вам на ошибки. На основе моих замечаний вы регулируете вашу стратегию и повторяете ее снова. Так, шаг за шагом, качество создаваемых вами фотографий будет улучшаться».
Для подготовки и тестирования системы, ученые использовали эскизы на основе фотографий в CelebA, интернет-ресурсе с базой данных в более чем 200 000 знаменитых изображений и картин, а также LFW — коллекцию из 13 000 фотографий лиц из интернета.
Одной из первых попыток аспирантов было преобразование эскизов собственных лиц, нарисованных Ямуром. Еще одной попыткой являлась попытка создать фотореалистичные изображения известных голландских художников — Рембрандта, Ван Гога и Эшера, на основании их автопортретов.
Теперь исследователи обратили внимание на то, какую пользу сможет принести их разработка на рынке. «Наша компания Neurant уже работает над подобными проектами. Мы надеемся привлечь их на рынок в ближайшее время», заявили они.
