Исследователь с помощью нейросети Instant NeRF смог заглянуть в зазеркалье

Разработчик Юг Брюйер в ходе тестирования нейросети NVIDIA Instant NeRF для превращения снимков в 3D-объекты обнаружил, что у нее есть необычное свойство. Оно позволяет «заглянуть в зазеркалье», если в сцене есть зеркало.

23a0801672d415f06ee77f093e927229.jpg

Instant NeRF позволяет также немного продвинуться в «зазеркалье», при этом осматриваясь по сторонам.

Брюйер обработал с помощью нейросети 134 фотографии. Она смогла воссоздать снимки под недостающими углами, а также реконструировать отражение в зеркале. 

Разработчик говорит, что Instant NeRF «не понимает», что это зеркало, но знакома с понятием глубины.

NVIDIA представила Instant NeRF в конце марте. Это нейромодель рендеринга, которая изучает 3D-сцену с высоким разрешением за секунды и может отрисовать изображения этой сцены за несколько миллисекунд.

Модель использует процесс инверсного рендеринга с применением ИИ для определения поведения света в реальном мире, что позволяет исследователям реконструировать 3D-сцену из нескольких 2D-изображений, снятых под разными углами.

Instant NeRF разработана с использованием набора инструментов NVIDIA CUDA и библиотеки нейронных сетей Tiny CUDA. Это легкая нейросеть, и ее можно обучить и запустить на одном графическом процессоре NVIDIA. Исходный код нейросети открыли для всех желающих.

© Habrahabr.ru