[Перевод] iPhone XS: почему это совершенно новая камера

Отчёт стартапа, занимающегося приложением для улучшения фотосъёмки с iPhone

035a325d64f507c40a5c04ea6ecefc39.jpg

iPhone XS против iPhone X — изменения в камере на уровне железа

В последней версии нашего приложения мы сделали новую функцию, выводящую подробную информацию о том, на что способна камера вашего телефона. Пользователи, получившие раньше других доступ к iPhone XS, поделились с нами этой информацией, что позволило нам подробно описать спецификации железа.

Проведя анализ, мы можем выдать более подробный обзор того, что нового можно увидеть в камере iPhone XS, и больше подробностей о её технических возможностях, чем Apple пожелала раскрыть на презентации.

Это именно спецификации железа — притом, что Apple в основном концентрировалась на таких программных улучшениях, как Smart HDR и новый портретный режим.

Что нового?


Переделанные широкоугольные линзы


Линзы у iPhone XS and XS Max, использующиеся для большей части снимков, подверглись изменению, получив фокусное расстояние, эквивалентное 26 мм. Это на 2 мм меньше, чем у предыдущих моделей, iPhone 8 Plus и iPhone X, обладавших широкоугольными линзами на 28 мм.

Пользователь нашей программы и iPhone XS прислал нам фото, где видно разницу:

dcd1b62382b6ff61bc3963b230384780.jpg

Новый сенсор


Наше приложение не может узнать размер сенсора, но все данные указывают на то, что в iPhone XS установлен новый сенсор. Джон Груббер подтвердил, что новый сенсор iPhone XS на 30% больше –, а Apple утверждает, что размер пикселей на новом сенсоре для широкоугольной камеры составляет теперь 1,4 мкм, что на 0,2 мкм больше, чем у предыдущих.

Увеличение времени экспозиции до 1 секунды


iPhone XS и XS Max способны держать секундную экспозицию. Предыдущие iPhone могли держать экспозицию до ⅓ с. Эта способность может позволить делать всякие крутые фотографии с долгой экспозицией.

Увеличение диапазона ISO


Новый датчик — новый диапазон ISO, чуть шире, чем у iPhone XS. ISO теперь простирается от 24 ISO до 2304 ISO, что обеспечивает немного больше чувствительности при плохом освещении. Лучший из предыдущих датчиков iPhone выдавал только 2112 ISO.

Телеобъектив увеличил ISO на 240, теперь его максимальное значение не 1200, а 1440, что говорит о небольших подстройках сенсора. Возможно, это означает, что при том же уровне освещённости мы увидим меньше шума.

Изменения минимальной экспозиции


Увеличилась длительность минимальной экспозиции: на широкоугольной камере и телеобъективе эта величина поменялась с 1/91000 с на 1/22000 с и 1/45000 с, соответственно. Непонятно, что из этого следует — надо тестировать.

Сравнение полных списков технических подробностей:

761255af1f664d104659e8e1691187ac.png

Программные изменения


Мне было интересно, почему презентация от Apple концентрировалась на изменениях в программном обеспечении камеры, а не на её железе. Протестировав камеры iPhone XS, я понял, почему.

У iPhone XS не просто увеличен датчик: у него полностью переработана камера, и крупнейшим изменением стало то, что он полагается на вычислительную фотографию.

Умная камера


В Apple умны. Они видят, что от впихивания всё большего количества электроники в сенсор величиной с ноготь результатов получается всё меньше. Фотография — это наука о захвате света, она ограничена оптикой и физикой.

Единственный способ обойти законы физики — это «вычислительная фотография». Мощные чипы в современных iPhone позволяют компании сделать кучу фоток — некоторые из которых делаются ещё до того, как вы нажимаете на кнопку затвора — и слить их в одну идеальную.

e771bc4fa08ce657d7b0313a207ee083.jpg

iPhone XS сделает фото с увеличенной и уменьшенной экспозицией, сделает быстрые фотографии для заморозки движения и сохранит чёткость по всему кадру, и даже возьмёт лучшие части всех этих кадров, чтобы создать одно изображение. Вот, что вы получите от камеры iPhone XS, и вот что делает её такой эффективной в ситуациях, когда вы обычно теряете детали из-за смешанного света или сильного контраста.

Это не небольшая подстройка Auto HDR на iPhone X. Это полностью новая функция, кардинальное отличие от фотографий всех предыдущих айфонов. В каком-то смысле, совершенно новая камера.

Что это за «мягкий фильтр» для селфи?


Его не существует. Не хочу сказать, что люди что-то придумывают, чтобы продвинуться на YouTube, но заявлениям из интернета не стоит слепо верить.

Людям кажется, что iPhone XS смягчает изображение, по двум причинам:

  1. Улучшенное, более агрессивное уменьшение количества шума из-за слияния различных экспозиций.
  2. Слияние экспозиций уменьшает резкость, устраняя контраст между светом и тенью, получающийся на разных участках кожи.


Тут важно понять, как мозг воспринимает чёткость, и как художники заставляют вещи казаться чётче.

Всё работает не так, как в комедийных сериалах типа CSI, где детективы кричат «улучшить!» на экран. Нельзя добавить утерянных деталей. Однако можно обмануть мозг, добавив небольшие контрастные участки.

19e8183ffcfc7d2a13867b74f82ed3cc.jpg

ff1686206792ebb51f803dc4d04d95eb.jpg

Проще говоря, тёмная или светлая рамка рядом с контрастным светом или тёмной формой. Локальный контраст заставляет вещи казаться более чёткими.

17ab4137ca8ddccb3aec7a8e925d2b41.png

Для улучшения контрастности надо сделать светлые области светлее рядом с границей, а тёмные области темнее рядом с границей.

4fef7c9af70bc8fd812a51cb71ceb811.jpg

iPhone XS сливает изображения с разными экспозициями и уменьшает яркость ярких областей и делает менее тёмными тени. Детали остаются, но нам кажется, что изображение менее контрастное, потому что потерян локальный контраст. На фото выше кожа кажется более гладкой потому, что свет не такой резкий.

Наблюдательные люди заметят, что это влияет не только на кожу. Шероховатые текстуры и практически всё тёмное — от кошек до углей — выглядит более гладким. Это работает уменьшение количества шума. iPhone XS делает это агрессивнее, чем предыдущие айфоны.

c3aef88ce0da77d07e98c960a74df90f.png

Зачем нужно уменьшать количество шума?


Испытав iPhone XS вместе с X, мы обнаружили, что XS предпочитает более высокую скорость затвора и увеличенный уровень ISO. Иначе говоря, он делает фото быстрее, но из-за этого появляется шум.

ccf33b8284f1291c7d41e19129f2d70e.jpg

34fe6deff83f6b9455d7920f249b5878.jpg
iPhone X RAW

10e8af9f22fec0b5107350db5661accd.jpg

0d55e31c74e104c37eecde9fe34eb0dc.jpg
iPhone XS RAW

В формате RAW можно заметить, что у iPhone XS (справа) шума гораздо больше. В этом формате не происходит удаления шума. Почему же кадр XS должен быть таким шумным?

Помните ту презентацию с последовательностью кадров, показывающую, как работает камера айфона?

af23c492eedd627706737a25bfd24072.png

Если только у вас не бионические протезы, вы не сможете так долго держать телефон без движения. Чтобы получить чёткие и идеально выровненные изображения в таком количестве, айфону надо делать фотки очень быстро. Это требует более высокой скорости затвора –, а это значит, что на изображении будет больше шума.

Его надо как-то удалить, и это накладывает свои ограничения: вместе с шумом удаляется немного деталей и локального контраста.

4b876b9f68cb35a1cfdc1466411bbf47.jpg
iPhone XS RAW — детали в отражении более «гладкие»

0f987bcf533ba0031a8e7a3a2fa5bf7b.jpg
Smart HDR

Но по большому счёту более гладкими становятся селфи — особенно лица!

Да. Железо фронтальной камеры хуже работает в низком освещении, чем у основной. У камеры для селфи маленький сенсор размером с ноготь мизинца, поэтому в него попадает меньше света, а значит, больше шума и больше удаления шума.

В результате получается более гладкое изображение, и Smart HDR вкупе с конвейером вычислительной фотографии сглаживает его сильнее, чем раньше.

2836ee5b61d80f6d1c1f28399c46e7c1.png

2c8e95deb154669910ff53939da78fa6.png

Обратная сторона медали в том, что селфи, которые обычно получаются хуже в смешанном или резком свете (а такова большая часть освещения) уже не размываются, и в большинстве случаев выглядят лучше, только немного более сглаженными.

Хорошие новости в том, что Apple может и это немного подстроить, если людям покажется, что сглаживание работает слишком сильно, но поскольку тут стоит выбор между плохим освещением с шумом и слишком большим сглаживанием, логично, что версия 1.0 склоняется к сглаживанию.

По поводу заявлений о том, что ПО по-особенному относится к лицам: я фотографировал лимон, шероховатую бумагу и делал селфи, и уровень сглаживания везде был одинаковым.

Так что, камера iPhone XS хуже?


Нет, камера его не хуже, чем у iPhone X. У iPhone XS камера лучше. У неё выше динамический диапазон, но это связано с некоторыми компромиссами в ПО. Если вам не нравится делать вещи новомодными способами, не волнуйтесь.

9c4070c0d99b89f5e60d87a712b9500a.jpg
Подобный снимок нельзя было сделать на предыдущих айфонах

То, что делает Apple, лучше практически для всех случаев: обычные пользователи получат фото лучше, там будет больше деталей на свету и в тенях, без всякого редактирования. Профессионалы смогут вернуть контраст, немного подредактировав фотки; обратное уже не получится: в контрастном изображении детали уже потеряны.

Теперь можно делать селфи и фото при резком освещении, боговом освещении или другом, не выравнивающем свете, и получить приемлемый результат. Это прямо волшебство!

Есть только две небольшие проблемы.

Проблема подлинности


Камеры всё больше превращаются из простых инструментов в «умные устройства», использующие различные сложные операции для объединения нескольких изображений в одну, и мы задаёмся вопросом, смотрим ли мы на «неотредактированное» изображение.

Возьмём это фото Йосемитского национального парка:

6e9a46f5e23f19f6446f5619dc32d510.jpg

Он отредактировано. Чтобы правильно экспонировать ландшафт, фотограф использовал долгую экспозицию. Затем снял звёзды с более короткой экспозицией, иначе бы они превратились в следы. Затем объединил два фото в одно. Технически говоря, это подделка.

Вернёмся к iPhone: Smart HDR берёт разные экспозиции и сливает их вместе, чтобы получить больше деталей в тени и на свету. В этом есть определённая степень подделки. Сторонники чистоты фотографий могут возмутиться по этому поводу.

bbb7d167ef29de072e77c0f46c309cda.jpg
iPhone XS, Smart HDR

c93c09f8ded84273b1fa587e1b1f599a.jpg
iPhone XS

47edc0a83287a37b7b13d4de7ce90514.jpg
iPhone X

Без Smart HDR очень сложно сделать HDR вручную так, чтобы изображение не выглядело подделкой. Есть целый сабреддит, посвящённый хреновым HDR.

У среднего изображения, с отключённым Smart HDR, всё ещё большой динамический диапазон, но оно кажется не таким «автоподстроенным».

Так теперь работает камера на айфонах. Готов поспорить, что и в будущем она будет работать именно так.

Да, и это применимо к видоискателю любого приложения, делающего фотографию. Apple улучшает динамический диапазон на лету, прямо в видео, поэтому вы всегда будете видеть «изменённое» изображение.

Проблемы с RAW


С практической точки зрения проблемы начинаются вот с чего: iPhone XS делает экспонирование совсем не так, как iPhone X. А это имеет огромное значение при съёмке в RAW.

Возьмём такой снимочек:

12e1e266fd864d6be09994fd1650bb92.jpg
iPhone X RAW

fc54037a5b19707d962082b4c967beb7.jpg
iPhone XS RAW

Вы сразу заметите, что второе фото передержано. Начав редактировать файл iPhone XS RAW, вы увидите, что светлые части изображения утеряны.

Углубившись в детали, вы увидите вторую проблему: iPhone X делал экспозицию в 1/60 с и ISO 40, а iPhone XS делал экспозицию с 1/120 с и ISO 80. Мы подозреваем, что для получения наилучшего фото для Smart HDR, камере просто приходится использовать меньшую экспозицию и более высокие значения ISO.

Мы делаем приложение для камеры, чтобы получать фотографии в RAW, поэтому это очень плохо. RAW не только не получает преимуществ от слияния нескольких фото — фотографии iPhone получаются очень шумными на уровне ISO 200. Это шаг в неправильном направлении.

Ещё больше ухудшает ситуацию то, что сенсора iPhone XS шум получается чуть более активным и цветным, чем у iPhone X.

b6af9960cb977cb7b3a90da3afd5430c.png

Такой шум не так-то просто убрать на постобработке. Это не мягкая зернистость плёнки, которую мы наблюдали у iPhone X и iPhone 8 в RAW.

На сегодня получается, что если снимать RAW на iPhone XS, придётся переключаться в ручной режим и уменьшать экспозицию. Иначе ваш RAW получится хуже, чем JPEG от Smart HDR. От этого страдают все сторонние приложения для камеры. Как ни странно, RAW файлы от iPhone X выглядят гораздо лучше, чем от iPhone XS.

Наше решение: Smart RAW


К счастью, это можно поменять. После выхода iPhone XS мы, работая по ночам и выходным, придумали решение того, как извлечь максимум из большего по размеру сенсора и его глубоких пикселей.

Мы сделали Smart RAW — функцию, использующую новую сенсорную технологию в iPhone XS, и делающую фотографии в RAW лучше, чем это мог бы сделать iPhone X. Smart RAW не использует никакие функции Smart HDR — он наоборот их избегает, чтобы вам практически не нужно было убирать шум.

Теперь, когда мы обошли проблемы с экспозицией iPhone XS, в файлах Smart RAW можно обнаружить удивительное количество деталей. Давайте посмотрим на фотографию с концерта First Aid Kit и сравним варианты с использованием Smart RAW и без него:

94276a4d2296493aac70302a43e5c4a3.jpg
Без Smart RAW

8bddc563158c728022e676b239a78b4b.jpg
Smart RAW

Гораздо лучше, чем у iPhone X. Вот несколько сравнений RAW-изображений, сделанных с iPhone XS и iPhone X.

bdc6069f7db9be5d1aa944e04be861f0.gif

74d88184844db51315560df1268a22ea.gif

Результаты удивительны: меньше шума, больше деталей.

Лучшая особенность Smart RAW: благодаря подстройке сенсора iPhone XS, мы получаем максимум качества в изображениях, больше, чем когда бы то ни было. При переходе от iPhone X к iPhone XS происходит удивительное увеличение разрешения и качества.

Smart RAW против Smart HDR


Вас может заинтересовать, как эту функцию можно сравнить с Smart HDR, поскольку съёмка в RAW подразумевает отсутствие HDR. Я сделал сложный по условиям экспозиции снимок, использовав Smart HDR и наш новый RAW:

39ecb060848561a22bc70acaecd2902c.jpg
Smart HDR

7395f8e7fce5967cadf39ede6bfd96c7.jpg
RAW

Без редактирования они получаются почти одинаковыми; возможно, Smart HDR чуть получше.

Но RAW — это только отправная точка. Вот те же фотки после редактирования:

39ecb060848561a22bc70acaecd2902c.jpg
Smart HDR

50271d534dec8ffb784eea9e1117e77c.jpg
RAW после редактирования

Такого динамического диапазона, как у Smart HDR, мы не получили — обратите внимание, как там небо становится более голубым –, но подошли довольно близко. Мне больше нравится, как выглядит RAW после редактирования — чуть наутральнее.

Но главное преимущество: детали.

Я предпочитаю снимать в RAW из-за чёткости деталей, и на iPhone XS с его более крупными пикселями деталей стало больше, чем раньше. Прекрасный пример — листья у дерева справа вверху:

12ef14400912050d8b61c87cbdcda29c.gif

И так получается с большинством фотографий. Снимая в RAW, потом приходится поработать над снимком, но результаты часто того стоят. Конечно, в этом изображении очень много света — необходимо проверить, что получается после захода солнца.

В ситуациях с недостатком света существует компромисс. Чем меньше света, тем больше шума. iPhone XS вместе с Smart HDR в штатном приложении для съёмки прекрасно справляется с такими снимками, но иногда у него получаются не самые чёткие фотки.

На фотографиях с недостатком света всегда будет много шума. Smart HDR агрессивно его прячет, теряя в детализации. Если вам нужно больше деталей и не мешает небольшой шум, попробуйте наш Smart RAW:

1a52ddae4e6327c3f7e2079b738a99fe.jpg
Слева Halide Smart RAW, справа iPhone Smart HDR

Присутствует шум в тенях, а кожа выглядит более грубой из-за меньшего размытия светлых и тёмных пятен, но детализация потрясающая, по сравнению с изображениями, сделанными в штатном режиме.

Smart RAW всё ещё находится в режиме тестирования, и потребуется набрать очень много фотографических свидетельств того, что он идеально работает во всех ситуациях.

Итоги


У iPhone XS появилась совершенно новая камера. Это не просто другой сенсор, это совершенно новый подход к фотографии, новый для iOS. Поскольку она так сильно полагается на слияние экспозиций и вычислительную фотографию, её изображения могут сильно отличаться от тех, что сделаны в тех же условиях на другие айфоны.

Но, поскольку в отличие от предыдущих камер, её преимущества в качестве основаны на ПО, можно ожидать их улучшения и изменения. Это всего лишь первая версия iOS 12 и Smart HDR.

Нам же, разработчикам, нужно обновлять приложения, чтобы в полной мере воспользоваться преимуществами нового сенсора в iPhone XS и XS Max. Поскольку он так сильно отличается, к нему нельзя относиться, как к сенсору любого другого айфона, иначе вы получите неудовлетворительные результаты.

Если вас не очень устраивают некоторые аспекты этого дивного нового мира вычислительной фотографии или особенности обработки изображений от Apple, вы можете отключить активную HDR-обработку в настройках камеры, или снимать в RAW.

Для отключения необходимо зайти в Settings → Camera, и отключить там Smart HDR. После этого откройте камеру и в верхнем меню появится новая настройка HDR. Нажмите на неё, чтобы отключить HDR.

© Habrahabr.ru