Создан инструмент для генерации объемных видео: как это работает
Объемное видео по своей природе сложнее обычного. Вместо двумерного массива квадратных пикселей, изменяющихся со временем, оно генерирует кубические воксели в трехмерном пространстве. Такое представление сцены лучше подходит для создания эффекта погружения. Когда вы играете в видеоигру с 3D-миром, вы, по сути, смотрите объемный видеоролик.
Команда из Чжэцзянского и Стэнфордского университетов, а также Гонконгского университета науки и технологий представила технологию объемной видеопрезентации, которая снижает требования к видеопамяти и хранилищу данных для рендеринга фотореалистичного видео из 3D-ресурсов. Об этом сообщает New Atlas. Эта технология позволяет рендерить сцены в разрешении 1080p со скоростью 450 кадров в секунду в течение 10 минут и более, используя стандартный графический процессор Nvidia RTX 4090. Процесс рендеринга происходит в реальном времени с возможностью интерактивного управления движением камеры и другими элементами.
В основе лежит временная гауссова иерархия. Этот метод анализирует сцену и выявляет участки, которые изменяются быстро, и те, которые движутся медленно или остаются статичными. Затем создается иерархия представлений, которая позволяет выделять больше времени на рендеринг быстро меняющихся частей сцены и экономить ресурсы, снижая затраты на обработку медленно движущихся или статичных элементов.
Технология сгенерировала 18 000 кадров, используя всего 17,2 ГБ видеопамяти и 2,2 ГБ памяти — это сокращение в 30 и 26 раз соответственно по сравнению с предыдущим передовым методом 4K4D.
Такой быстрый рендеринг сложных трехмерных сцен открывает перспективы создания VR уровня «Голопалубы» — вымышленного устройства из научно-фантастической медиафраншизы «Звездный путь», благодаря которой герои создавали различные виртуальные среды и взаимодействовали с ними. Способность генерировать 450 кадров объемного видео в секунду обеспечит частоту обновления стереоизображения в VR-гарнитуре на уровне 225 кадров в секунду с разрешением 1080p, как, например, в Apple Vision Pro.
Ранее виртуальная реальность помогла археологам увидеть разрушенное целым.
