NVIDIA ищет пути оптимизации ВР-изображения
Компания планирует увеличить комфортность ВР и снизить нагрузку на вычислительные мощности при помощи имитации периферического зрения
Человеческий глаз устроен сложно. Мы, как всеядные, имеем достаточно широкий угол обзора, но все равно четко видим только то, на чем сфокусирован наш взгляд. Вся остальная область позволяет нам различать объекты, но видим мы их нечетко, размыто. Это мы и называем периферическим зрением.
Изначально, компании-производители ВР-шлемов гнались за четкостью изображения на экранах, скоростью обновления кадра и общим качеством картинки. Сейчас, когда продукция HTC, Oculus и Sony выходит на широкий рынок, пришло время задуматься об оптимизации, ведь не все могут позволить себе стационарный ПК стоимостью 1500–2500$ ради того, чтобы попробовать новый продукт. И это еще без стоимости самой гарнитуры.
Основную финансовую нагрузку формируют видеокарты, которые занимаются рендерингом изображения в два потока на экраны ВР-шлемов. И NVidia, как основной игрок на рынке и поставщик, задумались над оптимизацией и повышением комфортности процесса погружения в ВР-мир.
Сейчас вся картинка в ВР-гарнитурах отрисовывается с одинаковой степенью качества. Переведя взгляд на любую часть экрана, пользователь увидит одинакового качества картинку. Но на самом деле, четко человеческий глаз видит только в узкой области фокуса, а все остальное приходится на зрение периферическое, картинку с которого наш мозг обрабатывает и смягчает.
В NVidia пришли к выводу, что имитировать поведение реального глаза при рендеринге картинки на экранах ВР-гарнитур будет хорошим решением, ведь, во-первых, это позволит снизить нагрузку на вычислительные мощности ПК, к которому подключен шлем, а во-вторых, повысить реалистичность поведения изображения и, соответственно, увеличить комфортность игрового процесса.
Но, так как наши глаза подвижны, сделать просто четкое «пятно» фокуса посреди экрана нельзя. Для имитации поведения реального зрения инженеры NVIDIA прибегли к системе трекинга положения глаз, чтобы четко определять, куда именно смотрит пользователь. В итоге, им удалось разработать систему, которая достаточно реалистично симулирует поведение человеческого сзрения и при этом экономит вычислительные ресурсы системы:
Полностью отрисованная картинка для ВР, фокус на часах
Просто «заблюренная» периферия картинки для ВР, фокус на часах
«Заблюренная» периферия картинки для ВР с сохранением необходимого уровня контрастности, имитация реального зрения, фокус на часах
Даже сейчас, просто глядя на изображение, можно признать, что инженеры NVIDIA на правильном пути. Сфокусировавшись на часах даже на экране монитора, разница между первым и третьим изображением, на первый взгляд, практически отсутствует. Разработка ведется на базе уже существующей технологии SMI (SensoMotoric Instruments), которая была представлена еще для Oculus Rift DK2 в ноябре 2014 года.
Если вы считаете, что инженеры NVIDIA просто «мылят» все, что не в фокусе, вы ошибаетесь. В ходе работы было обнаружено, что при традиционном рендеринге картинки в области периферического зрения образуются провалы и мерцание, вызывающие чувство дискомфорта. Просто же «блюр» изображения снижает контрастность, что вызывает чувство «туннелирования» зрения.
Именно поэтому инженерами был создан целый алгоритм, который оценивает форму, цветность и контрастность, а так же движение объекта. Благодаря этому «блюр» для пользователя проходит комфортно и практически незаметно, без побочных эффектов.
Видео-демонстрация этапов «блюра» картинки для ВР от NVIDIA
