Как живые: наш опыт редактирования старых фотографий26.05.2020 11:02

Семейной историей мы с мужем занимаемся уже лет десять. Накопилась большая база черно-белых фотографий по каждому из сотен предков и их родственников. Самое важное на таких фото — это, конечно, лица людей. Чтобы делиться с роднёй и публиковать в интернете, хочется иметь эти фото в хорошем качестве, находить новые, интересные детали.

Революцией в этой сфере для нас в последние месяцы стало появление ряда программ и сервисов, которые в совокупности и при правильном использовании позволяют любому человеку легко ретушировать и расцвечивать старые семейные фото. Результат — реалистичные, чёткие, красивые кадры из старых, зернистых, нерезких и часто поврежденных фото. В большинстве случаев не требуется использование фотошопа.

Хотим поделиться со всеми, кому интересно это ремесло, теми программами, которые мы открыли, а также некоторыми способами их комбинирования в правильном порядке. Речь пойдет об онлайн-приложении Remini, сервисе «Компьютерное зрение от почты mail.ru», приложении Google Snapseed, а также о ряде других штуковин.

В нашей семейной базе старых фотографий много некачественных изображений. Связано это с тем, что не всегда есть возможность отсканировать фото в хорошем качестве. Большинство родственников не готовы отдать нам снимки, поэтому мы фотографируем старые альбомы в гостях на телефон или фотоаппарат. Для того, чтобы довести их потом до ума, нужно потратить много времени и сил.

Каждый день можно использовать 10 бесплатных попыток улучшить фото, которые дает Remini (пять — для аккаунта Google, пять — через аккаунт Facebook). Наверное, можно создать несколько аккаунтов, кому очень надо, и будет больше попыток. Ну или есть несколько вариантов покупки.

Тарифы Remini

Из базы старых семейных фото в компьютере нужно собрать подборку (например, все имеющиеся фото одного человека), и переслать себе на почту для открытия в смартфоне. Учитывая, что некоторые фото приходится прогонять через Remini по несколько раз, одной такой посылки с фото иногда хватает на неделю работы.

Скачайте подборку фото из почты на смартфон и дальше действуйте в зависимости от специфики каждого фото.

Типовой сценарий для простых случаев (освещение хорошее, фото не повреждено, отсканировано корректно)

Берем фото и прогоняем через сервис mail по раскрашиванию. Он автоматом убирает мелкие царапины, добавляет цвета, накладывает эффект «голубого неба». Если что-то не понравилось, можно не сохранять это фото и вернуться к раскрашиванию позднее. Если фото раскрасилось удачно, то на следующем этапе используем уже цветное фото.
Пуляем фото в Remini — Enhance [photo]. Не кадрируем в этой программе, ибо неудобно. Смотрим (иногда) рекламу. Получаем обновленное фото и отдельно все распознанные лица.

И фото целиком, и лица можно сравнить по принципу «было-стало» для принятия решения — норм или не норм. У нас не все попытки бывают удачными (см. ниже «Семь проблем Remini»). Как правило, на этом этапе получаем нормальное фото, готовое к раскрашиванию или другому использованию. Допустим, если вам более аутентичным кажется именно монохромный (черно-белый) вариант, то он уже готов.
Прогоняем через раскрашивание mail. Если цвета всё ещё не нравятся, откладываем раскрашивание на потом или отказываемся от него насовсем (и такое бывает).
Отказываемся от мысли обработать всё фото полностью (с мебелью, травой, обстановкой вокруг) и сосредотачиваемся только на лице (и, если возможно, плечах/груди/руках). Открываем Snapseed (или любую другую прогу на ваш вкус) и там используем функции «перспектива» (для изменения угла поворота фото и других пропорций), «расширение фото» (это требуется для получения дополнительного пространства вокруг фото — поймете, когда будете крутить фото), «поворот» (чтобы нужное лицо сделать строго вертикально — нам так больше нравится), «кадрирование» (ограничиваем края нужного кадра, отрезаем соседние лица на групповых фото). Есть еще такая необычная функция, как «положение головы»: если программа распознала лицо, можно аккуратно как бы «повернуть» лицо к зрителю. Если использовать эту фичу без фанатизма, то иногда результат вполне себе. Вангуем появление в будущем функции «изменить точку, в которую смотрит человек на фото».
Еще раз прогоняем через Remini — Enhance. Если получился «кукольный эффект» (волосы превратились в «макароны», лицо стало как после тонны тонального крема ), значит, перестарались.
Если еще не раскрашивали, то пытаемся раскрасить в последний раз.
Если нужно, то в Snapseed правим свет, тона и всякое такое через инструмент «коррекция» (за счет вертикальных и горизонтальных свайпов).

Это простой сценарий — для удачных и не «убитых временем» фото. Когда вам понятно, как работает каждый из его этапов, можно менять местами и комбинировать их по необходимости.

Сценарий для сложных случаев

Теперь о сложных случаях, когда есть много царапин, пятен, заломов, следов жидкостей, отсутствует часть изображения и т. д. Их можно убирать в Remini с помощью функции Scratch Fix (вкладка Discover в правом нижнем углу).

Для удаления сложных царапин и пятен желательно иметь экран мобильного устройства побольше и стилус. Так совпало, что у одного из нас смартфон Samsung note 10 plus со стилусом, что очень выручает. Не факт, что можно царапины убирать пальцами.

Работает это так: стилусом выделяем каждую трещину, каждое пятно, ненужные изъяны внешности, лишние локоны, бесцветные углы фото и т.д. Лучше не стараться всё сделать за один раз, а двигаться постепенно, например, сначала только крупные царапины вокруг человека, потом мелкие, потом — царапины и пятна на лице.

Темные пятна и царапины лучше обрабатывать отдельно от светлых.

Но все эти мучения не зря. Если всё делать правильно, то проблемные части на фото магическим образом исчезают. Только в паре случаев не удалось побороть трещины в том месте, где они попадают на глаза человека, а также не удалось справиться с оторванным фрагментом лица человека.

На этот случай у Snapseed есть инструмент «двойная экспозиция», который позволяет клонировать часть лица с другой стороны и, отзеркалив, перенести на нужную точку. Но нам им пользоваться лень. Наверное, для таких случаев можно тряхнуть стариной и открыть фотошоп.

Пример редактирования «сложного фото»: было/стало и промежуточные этапы.

Было:

Стало:

Промежуточные этапы (справа внизу — начальный):

Плюсы Remini

Убирает зернистость, повышает резкость лиц. Увеличивает «вес» фото в целом.
Украшает лица, делает людей красивыми.
Если уже раскрасили, то делает цвет лучше, убирает цветовые пятна (когда, скажем, розовый цвет губ переносится на часть кожи лица), которые оставляют программы для раскрашивания.
При обработке группового фото программа за одну попытку обрабатывает сразу все лица на фото и позволяет сохранить крупно каждое распознанное по отдельности.
Сохраняет в мобильном устройстве историю распознанных изображений в формате «было-стало», так что к ним можно вернуться позднее.
В ряде случаев «намечает» цвет глаз и губ, оттенок цвета лица.
Есть функция по удалению царапин и других следов времени с возможностью указать каждый недочет на фото вручную — Scratch Fix.

Проблемы Remini

Ты только вошел во вкус, а бесплатные попытки уже кончились. Жди 24 часа. Тем, кому требуется обработать большой массив фото, а также профессиональным ретушерам логичнее использовать платные возможности этой программы.
Работает только на мобильных платформах. Почти каждая попытка сопровождается показом рекламы (длительностью до 30 секунд), которую ни ускорить, ни пропустить. Иногда в моменты пикового спроса на услуги нейросети возникает очередь, и программа просит подождать.
Очень требовательна к освещенности и расположению лица фотографируемого. Не все лица программа распознаёт (иногда стоит кадрировать и отправить в Remini только крупный план интересующего человека — тогда шансы на распознание лица выше). А совсем нерезкие лица после обработки могут быть вообще не похожи на самого человека.
Remini в ряде сложных случаев «додумывает» несуществующие черты лица или лишние детали портрета: щетину, волосы на лице и т. д. Их надо или убирать там же вручную, на ходу менять порядок действий (например, сначала раскрасить через mail) или искать другое фото человека. Ну или осваивать фотошоп.
Remini не умеет детально прорабатывать всё фото (хотя зернистость пропадет и мелкие точечки/царапинки уходят, но резкости не прибавляется). Фишка Remini — только лица и минимальное пространство вокруг.
Неудобно пользоваться из-за убогого юзер-интерфейса: кадрирование так себе; при работе со сложными фото с царапинами (пальцами без стилуса я б, наверное, не осилила) приходится по множеству раз пересохранять картинки, перезапускать приложение.
Делает с каждой новой попыткой всё больше седых волос (даже молодым), а лица, наоборот, моложе (не хватает возможности настройки возраста человека). Появляется «кукольный эффект», когда лицо становится таким… мультяшным.
Головные уборы с каждым прогоном всё больше становятся «волосами», то есть программа рисует волосы на головных уборах там, где их быть не должно. Прозрачные очки на лице — тоже большая проблема, так как сливаются и путаются овалы глаз и очков.

Зачем-то снижается качество фото при использовании функции Scratch Fix. Писали об этом в саппорт, и нам шустро ответили из Сингапура, что работают над этим. К счастью, при повторной обработке через Enhance качество восстанавливается.
В отличие от аналогичной функции «Точечно» (у Snapseed) и других похожих функций у других приложений правки в Scratch Fix вносятся и срабатывают не последовательно, а накапливаются массивом и потом обрабатываются. Иногда «косячно». Заранее угадать, получится или нет нереально, только с опытом приходит некая осторожность. Теперь сразу много правок не делаем.
Scratch Fix при уменьшении толщины оранжевого маркера трещин оставляет на месте правок черные уголочки-следы и пятна, что дико бесит, и иногда приходится подолгу шаманить, чтобы их избежать.

В итоге теперь чаще используем «Удаление точек» в редактировании фото в приложении Галерея на смартфоне и функцию «Точечно» Snapseed.

Плюсы сервиса mail.ru по раскрашиванию фото

Нет ограничений по количеству попыток, работает быстро и безотказно.
Автоматически улучшает «структуру» фото, то есть делает поверхности более «гладкими», красивыми. В большинстве случаев это реально помогает.
Из трех полученных вариантов позволяет выбрать цветной, цветной с ретушью или ч/б файл с ретушью.
Отлично приспособлен для раскрашивания фото с советскими военнослужащими: гимнастерки и верхняя одежда преимущественно цвета хаки, награды и знаки различия неплохо распознает (в ряде случаев это даже помогает идентифицировать награды предка/родственника — удалось распознать медаль «За отвагу» у родственника, погибшего в Германии в апреле 1945 года). Эти предметы явно были внесены в базу разработчиками.

Без погрешностей не обходится: если орден Ленина на фото ниже распознался корректно, то цвет ленты на колодочке ордена «Знак почета» (средняя награда в верхнем ряду) вместо светло-розового с оранжевыми полосами по краям получился голубым с красными полосами по краям.

У воздушного стрелка петлицы голубые.

Лента на колодочке медали «За победу над Германией» правильного цвета.
Ярко и красиво раскрашивает лица, что при комбинировании с Remini позволяет добиваться отличных результатов.

Проблемы сервиса mail.ru по раскрашиванию фото

Функция автоматического убирания трещин и потертостей с широкими трещинами работает так себе. На месте трещин остаются широкие полосы; часто удаляются нужные фрагменты фото: узоры на одежде, цепочки, пуговицы, другие мелочи. Глаза, например. Получается довольно крипово временами. Использовать такие фото потом нереально. Предпочитаем трещины и пятна «выводить» вручную.
Цвет глаз может быть на разных фото разным у одного и того же человека. Знаю, что некоторых пользователей это очень напрягает. Жаль, что это не настраиваемый параметр.
Плохо распознает руки и пальцы, уши человека. Иногда оставляет их серыми. Такое же бывает с затенёнными фрагментами лица.
Почему-то для маленьких фото не дает выбрать из трех вариантов, а предлагает только один — цветной.
Поскольку программа заточена под военные фото, то «ищет» знаки различия у всех подряд. На фото ниже — воротник у детского платья стал красным там, где раньше у военнослужащих РККА были «ромбы» и «треугольники».
«Эффект неба» (голубое пятно) пытается наложить даже в помещениях, даже на прическу и на лица.
Не все цвета распознает корректно. К примеру, воротник матроски на изображении ниже должен быть синим, а у мейла он темно-красный (у других сервисов с этим проблем нет, но есть проблемы пострашнее).
Если сильная сторона сервиса mail по раскрашиванию — это обработка лиц, то откровенно слабая — это обработка групповых фото (в том числе, снятых на открытом воздухе). Ниже идет фото, сделанное в городе Ессентуки в 1938 году (уже после Remini), и варианты его расцвечивания с помощью разных сервисов.

Из трех вариантов фото на коллаже вариант mail — верхний. Назовем его «буйство пятен».

К сожалению, не все йогурты одинаково полезны: не все фото вы сможете «вернуть к жизни». Проблемы будут с такими фото.

Где ребенок сильно крутил головой и вообще не в резкости.
Где плохой свет или часть лица в сильной тени.
Где поврежден или отсутствует целый фрагмент изображения лица человека (например, Remini будет до последнего пытаться «обойти» проблему: тут даже складки под глазом появились и нос «подвинулся»).
Где прикрыты/закрыты глаза.

В итоге мы приняли решение при возможности сканировать старые фото еще раз (до каких можно добраться), чтобы повысить шансы на последующую их корректную обработку.

Существуют еще достойные внимания программы по раскрашиванию фото на основе этого вашего машинного обучения и нейросетей.

MyHeritage InColor (на базе DeOldify). Минусы — странные цвета, бесплатно только 10 пробных фото на аккаунт, ставит два вотермарка и зачем-то добавляет фото в твой аккаунт MyHeritage, даже если это не твоя родня.

Военная форма неотвратимо синяя.

Справедливости ради нужно отметить, что неплохо распознает цвет кожи человека и в некоторых сложных ситуациях справляется отлично, например, с крупнозернистыми фото (не со всеми), групповыми фото или фото с листвой/пейзажами.

На время карантина компания MyHeritage сделала безлимитный доступ к этому сервису, но все фото у них какие-то черно-оранжевые выходили и в безобразном качестве.

Вот те же фото после сервиса mail (но с оговоркой, что и Remini внёс свою лепту в плане качества, но цвета-то — mail).

В итоге сервисом MyHeritage InColor мы не пользуемся.
DeOldify. Цвета плюс-минус те же, даже примитивнее. Злоупотребляет синим и оранжевым цветом. Вотермарк есть, но можно отключить. Сложный для обычного пользователя юзер-интерфейс (типа colab.research.google.com/github — постороннему без танцев с бубном не разобраться). Частые сбои, требует фото из интернета по url, то есть нет возможности загрузить напрямую с компа. Но нет ограничений по количеству попыток.
Colourise.sg. Неожиданно интересная программа без ограничений. На всякий случай каждый раз уточняет, не робот ли решил свои фото раскрасить. Распознает цвет одежды, но не очень хорошо делает цвет лиц и кожи вообще.

Пока готовилась эта публикация, сервис Colourise.sg в некоторых сложных случаях показал лучшие результаты в сравнении с mail. Вот примеры. Идеальными их не назовешь, но mail справился хуже, на наш взгляд.

Для сравнения: вот как справился сервис от mail (опять эти цветовые пятна, разный цвет глаз, эффект «голубого неба» где ни попадя).

Ради справедливости отметим, что некоторые из этих фото — после обработки mail — более пригодны для кадрирования и последующей работы с лицом людей.
Color.artlebedev. Так сказать, есть еще зоны для развития: сравните одно и то же фото от color.artlebedev и от mail:

Есть и достойные программы для повышения разрешения (не «улучшают» фотки, как Remini).

AI Image Enlarger. Есть определенные ограничения у бесплатной версии: готов обработать только фото 1200 на 1200 и «весом» не более 5 Мб. При ретушировании фото такие сервисы можно применять для картинок с низким разрешением или сильной зернистостью на самом первом этапе — до расцвечивания и «улучшения».
Gigapixel AI. Ставится на компьютер. Платная, 99 долларов. При обработке фото программа долго «думает». Работа с тестовой версией показала, что, как и у AI Image Enlarger, к каждому пикселю программа «подселяет» еще кучу похожих. Это абсолютно не влияет на «улучшение» лица человека. См. на фото красноармейца до и после.

В завершение как пользователи хотим добавить, что очень не хватает возможности «подсказать» программе те или иные характеристики изображения: дату, возраст, цвета, типы предметов или одежды в кадре, выделить те или иные части лица и тела, идентифицировать предметы. Уверены, этот посланный в космос сигнал услышат разработчики подобных сервисов. Коллеги из ЛАНИТ, которые занимаются машинным обучением, на досуге тоже могут подумать над воплощением наших пожеланий к программам по обработке фото.

24 мая в Remini появился новый, важный для обработки старых фото функционал: вкладка Portrait, которая может «сделать хороший портрет восхитительным», «возвращает утраченные детали», «добавляет текстуру кожи и искорки в глазах». Еще бы вот радужку глаза делали круглой…

После обработки фото с помощью этой функции, действительно, появляется текстура кожи на лице, и даже такие мелкие детали, как отдельные волоски бровей и ресниц. Скачать в итоге можно портрет, а также (в формате «было-стало») лицо сверхкрупно от бровей до губ или даже деталь — только глаза и нос. Эффект такой, будто это фото сделано только что на хороший смартфон прямо рядом с тобой, а не в 1946 году...

Оригинал:

И еще пример.

Оригинал:

Современные технологии развиваются быстрее, чем мы успеваем писать о них. )

***

Статья написана в соавторстве с Reisman.