Инженеры Apple и Adobe представили нейросеть для управления освещением на фотографиях
Разработчики из Apple, Adobe и Университетского колледжа Лондона представили нейросеть, помогающую в реальном времени управлять естественным освещением на фотографиях. Пока для примера доступны только несколько изображений.
Исследователи отмечают, что уже существуют методы для изменения источников освещения на фотографиях. Но для работы всех этих алгоритмов необходимо несколько фотографий местности с нескольких точек. Тогда система может построить точную карту объектов. Для работы нового алгоритма нужна только одна фотография.
Алгоритм определяет источники света на оригинальном снимке путем анализа фотографии с помощью различных фильтров. Кроме источников света определяются и объекты, отбрасывающие тени, рассчитывается длина теней. После этих действий система может рисовать новые тени и блики, основываясь на положении источника освещения.
Сравнение исходного фото и обработанного алгоритмом
На сайте проекта разработчики продемонстрировали интерактивные фотографии для изменения положения источника естественного свет в реальном времени. Можно отметить, что алгоритм достаточно хорошо справляется с крупными объектами, но игнорирует или неточно рендерит тени мелких объектов. Также не учитываются тени под объектами и физика прозрачных материалов. Из-за этого автомобили на снимках выглядят хуже, чем могли бы.
