Netflix запатентовала улучшение технологии зелёного экрана
Технология «зеленого экрана» существует уже почти сто лет. С годами эта техника постоянно совершенствуется, однако до сих пор её нельзя считать идеальной. Для получения наиболее реалистичного результата необходимо правильное, тщательно сбалансированное освещение. Зелёные отсветы с задника на другие объекты влияют на насыщенность цвета. Тени на зеленом экране также влияют на точность цветопередачи, и за этим необходимо тщательно следить. А движение мелких объектов, например, прядей волос, может привести к появлению отвлекающих визуальных артефактов.
Имеет значение и оттенок зеленого. На YouTube множество роликов с синоптиками, которые случайно надели одежду с неправильным оттенком зеленого — так, что часть их тела стала невидимой. Ручное редактирование результатов съёмки может решить эти проблемы, но оно требует много времени и не всегда даёт идеальные результаты.
Компания Netflix заявила, что ей удалось разработать методику, которая улучшает давно применяемый метод хромакея. В статье, опубликованной на сервере препринтов arXiv, исследователи Netflix заявили, что разработали новый подход под названием Magenta Green Screen (MGS), который позволяет добиться большей точности и быстроты результатов.
Название обусловлено используемым подходом к освещению: Актёры освещаются спереди красными и синими светодиодами на фоне фона, освещённого яркими зелёными светодиодами. Красно-синее освещение создаёт пурпурное свечение на актёрах.
Поскольку цифровые камеры фиксируют цветовые значения по красной, зеленой и синей дорожкам, одна дорожка фиксирует фон (канал зеленого экрана), а передний план полностью чёрный, в то время как красный и синий (пурпурный) каналы фиксируют передний план, а фон отображается полностью чёрным.
Для устранения пурпурных оттенков Netflix использует инструменты искусственного интеллекта, сравнивая фотографии актёров при естественном освещении с экшн-сценами, в которых присутствуют оттенки.
«Наша методика позволяет получить высококачественные результаты композитинга при её реализации на современной светодиодной виртуальной производственной сцене», — заявил старший научный сотрудник Netflix Дмитрий Смирнов в отчёте «Пурпурный зелёный экран: Спектрально мультиплексированное альфа-матирование с глубокой колоризацией».
По словам Смирнова, этот процесс позволяет снимать действие с заполненными виртуальными фонами в режиме реального времени. При этом не требуется специального операторского оборудования или ручной настройки цвета.
Одна из проблем, которую они рассмотрели, — это проблема пикселей по периферии объектов, которые могут быть как частью объекта, так и фоном. «Частичное покрытие по краям, нечёткие и прозрачные структуры, расфокусированные и размытые при движении области — все они демонстрируют частичную прозрачность, — говорит Смирнов. — Определение RGB-цвета элемента переднего плана в пикселе, а также прозрачности пикселя — сложная задача».
Исследователи усовершенствовали метод триангуляции, при котором неподвижные объекты снимаются на фоне различных фонов для получения высокоточных определений объектов.
«Наша методика, как оказалось, превосходит по матовости то, что можно получить с помощью традиционного хромакейного зеленого экрана или метода мультиплексирования по времени», — сказал Смирнов.
