Как Google создавали камеру для Google Pixel и Nexus с 2011 года
Камера в Google Pixel крутая. В предыдущих Nexus тоже «топчик». Для фотосъемки на смартфоне — это пример для подражания. И казалось бы, как так вышло, что Google, никогда не разрабатывая собственных модулей, взяла, палочкой взмахнула, а камеры в смартфонах стали соревноваться с флагманами Samsung и iPhone? Всё просто, если конечно, так можно выразиться. Любой видимый результат — это айсберг. Результат — это его верхушка, а остальная часть таится где-то в глубинах.
Оказывается, Google работала над Gcam (Google Camera) еще с 2011 года. Разработки, тесты алгоритмов съёмки, большие массивы данных и всё в таком духе. В своём блоге Google выложила материал о том, как продвигалась работа, это любопытно.
Проект Gcam стартовал в далеком в 2011 году, когда Себастьян Траун, глава проекта «X» искал камеру, которая могла бы работать с очками Google Glass. Эти умные очки позволят снимать фотографии от первого лица и делиться снимками с окружающим миром, а гаджет не нужно доставать из кармана.
Эта функция могла пригодиться каждому, от родителей с маленькими детьми до врачей, выполняющих операции. Однако, для того, чтобы люди захотели пользоваться таким устройством, качество снимков должны было сравняться с камерами мобильных телефонов.
Команда, работающая над Google Glass, столкнулась с рядом проблем в дизайне камеры: крошечная камера и объектив накапливали мало света, поэтому изображения в условиях низкой освещенности или высокой контрастности часто были низкого качества.
У очков был небольшой сенсор по сравнению с модулями мобильных телефонов, что ещё сильнее уменьшало производительность в условиях низкой освещённости, а показатель динамического диапазона был так же слаб. К тому же вычислительная мощность Google Glass и слабенький аккумулятор накладывали свои ограничения.
Поскольку Google Glass хотели сделать лёгкими, создание более крупной камеры было не самым подходящим вариантом. Поэтому команда сначала задала себе вопрос: «может мы посмотрим на эту проблему совершенно по-новому?». Что, если вместо того, чтобы пытаться решить её с помощью лучшего оборудования, мы могли бы сделать это с помощью интеллектуальных программных решений?
Google обратилась к Марку Левойю, преподавателю факультета информатики Стэнфордского университета, эксперта в области вычислительной фотографии. Он занимался технологией захвата и обработки изображений на базе программного обеспечения.
В 2011 году Марк сформировал команду в подразделении X, известную как Gcam. Их задачей было улучшить фотографию на мобильных устройствах, применяя вычислительные техники фотографии. Команда Gcam исследовала метод, называемый fusion image, который создает быструю последовательность кадров, а затем совмещает их, чтобы создать единый, более качественный образ. Эта техника позволила им изобразить сцены с тусклым освещением более детально, а сцены с переменным освещением — с большей ясностью. Это позволило добиться более резкого изображения на снимках.
Image fusion дебютировал в Google Glass в 2013 году, а вскоре стало очевидным, что эта технология может использоваться за пределами Google Glass. В компании понимали, что камеры в смартфонах всё еще плохо снимают в местах со слабой освещенностью, пользователю нужно было дать это. Следующая итерация Gcam пополнила свою коллекцию функцией HDR +, она вышла за рамки Google Glass и была запущена в приложение для Android на Nexus 5, а затем и в Nexus 6.
Gcam в 2015 году перешла под управление Google Research. Сейчас команда работает с целым рядом технологий, включая Android, YouTube, Google Photos и VR. Некоторые из программных наработок команды Gcam включены в Lens Blur — функцию в приложении камеры Google и в программном обеспечении, сшивающее панорамы для видеороликов «Jump˚ 360˚Virtual Reality».
Совсем недавно технология HDR + от Gcam была запущена в качестве режима по умолчанию в смартфоне Google Pixel. В 2016 году DxOMark, рейтинговый ресурс посвященный камерам, заявил, что камера Pixel была «лучшей камерой в смартфоне за всё время». Размышляя о развитии проекта, Марк говорит: «Потребовалось пять лет, чтобы сделать это действительно правильно … и проект X дал нашей команде долгосрочные горизонты и независимость, чтобы это продолжалось и дальше».
Что ждёт Gcam в будущем? «Одно из направлений, которое мы используем — это машинное обучение» — объясняет Марк. «Существует множество возможностей для творческих вещей, которые фактически изменяют внешний вид того, на что вы смотрите. К примеру создание умного алгоритма для лучшего баланса белого. Или то, что мы можем сделать с фоном на фотографии, если мы «размоем» его, осветлим, стилизуем. У нас самая выгодная ситуация в мире с точки зрения машинного обучения, поэтому это реальная возможность объединить творческий мир с миром вычислительной фотографии». Что бы ни случилось дальше, можно с уверенностью сказать, что будущее у Gcam мгногообещающее.
Источник
