Как мы новую технологию AR очков придумывали (hardware)06.02.2021 01:32

В настоящее время на рынке AR очков сложно найти технологию (а возможно ее и вообще не существует), которая позволила бы сделать AR очки не только уделом гиков, но и внедрить технологию в повседневную жизнь людей. В этом посте мы хотим рассказать о том, как попробовали придумать и собрать AR очки на основе новой технологии. Ну, а попутно расскажем, по каким граблям ходили и в какую сторону лучше двигаться не стоит.

Введение

Все мы, наверное, в той или иной степени сталкивались с девайсами в виде AR очков. Но не все знают, почему так сложно сделать хорошие носимые устройства, которые смогли бы обеспечить пользователя изображением, не уступающим по качеству изображениям современных мониторов и экранов, имели бы небольшой размер, сравнимый с габаритами обычных очков для коррекции зрения, и могли бы работать без подзарядки на протяжении всего дня. Более подробно про современное положение дел и проблемы в области AR можно почитать тут: ссылка

Рис. 1: верхний рисунок — глаз человека может фокусироваться на объекты, удаленные на расстояние больше 15 см, нижний рисунок — для создания изображения в системе дополненной реальности необходимо использование прозрачного оптического элемента, который «искусственно» отдалит изображение на комфортное для человека расстояние.

Кратко, если нет времени читать предыдущий рекомендованный пост

Глаз человека очень сложный биологический сенсор. Считается, что порядка 80% всей информации об окружающем мире человек получает через глаза. Эволюционно сложилось так, что человеческий глаз может фокусироваться на предметы, которые находятся на удалении от 15 см до … (бесконечности) (рис. 1 (верхний)).

Такая особенность хороша для повседневной жизни в реальном мире, но является трудно преодолимой проблемой при разработке систем AR. В системе AR очков недостаточно просто отобразить изображение на дисплее или экране по средствам включения или выключения пикселя/мини-светодиода. Если в AR очки установить обычный дисплей, то он будет располагаться на расстоянии 2 — 3 см от глаз, куда человеческое зрение не в состоянии сфокусироваться. Чтобы решить эту проблему, необходимо пропустить изображение через оптическую систему и сделать так, чтобы глазу казалось, что изображение удалено на комфортное для зрения расстояние (рис. 1(нижний)). Вся сложность заключается в том, как изготовить такую оптическую систему, да так, чтобы эта система была прозрачной (для наблюдения реального окружающего мира), малой по размеру (как обычные очки), выдавала изображение высокого разрешения (конкурентоспособное в современном мире дисплеев), отображала изображение при различной ориентации глаза (глаз постоянно двигается и постоянно перемещается его оптическая ось) и т.д.

В настоящее время есть большое количество подходов и технологий, как обмануть глаз и заставить его думать, что изображение удалено на нужное расстояние, при том, что оно генерируется в паре сантиметров от глаз. Однако по тем или иным причинам уже существующие технологии не подходят для создания массового продукта в виде AR очков.

На основе знаний в области оптики, фотоники и современных технологий дополненной реальности мы попробовали разработать свою технология, которая по некоторым параметрам явно превосходит существующие аналоги.

Мини-предыстория

Все началось с университетской научной деятельности. Мы занимались изготовлением больших наноструктурированных поверхностей методом лазерной интерференционной литографии. Итоговые поверхности представляли собой протравленные по маске фоторезиста нанорешётки на поверхности кремния или стекла с характерным периодом 400 нм — 5 мкм.
На одном из лит. обзоров попалась статья про использование мини дифракционных решеток для создания 3D дисплея (хотя это слишком громкое название для такого рода устройств). В работе предлагалось под каждым пикселем LCD дисплея устанавливать разно-ориентированные мини дифракционные решётки (рис. 2). Такая конструкция позволяет пикселю светить только в фиксированном направлении. А если правильно подобрать направления свечения всех пикселей, то можно добиться того, что каждый глаз будет видеть свое изображение, что в свою очередь приводит к появлению стереоэффекта, ну или как авторы называют это в своей работе — 3D дисплею.

Рис. 2: a — сканирующая электронная микроскопия одной дифракционной решётки, b — один воксель (пиксель в 3D изображении) состоит из нескольких разноориентрованных решёток, с — полноволновое моделирование диаграммы направленности от 64-лучевой подсветки, d — поперечный срез диаграммы по пунктирной линии.

Не будем вдаваться в детали чужой технологии. Все подробности можно прочитать по ссылке: David Fattal. Скажу только, что на основе данной технологии был разработан смартфон RED Hydrogen One c 3D дисплеем (см. анимацию).

Анимация: Работа дисплея смартфон RED Hydrogen One со стерео/3D дисплеем.

Первоначально была идея использовать подобные решетки для создания AR очков. Предполагалось, что если спроектировать систему так, чтобы все решетки перенаправляли свет пикселей в одну точку, совпадающую с центром зрачка глаза наблюдателя, то можно добиться построения необходимого изображения на сетчатке. Такой принцип работы схож с технологией Virtual Retinal Display (VRD), использующейся в очках дополненной реальности North Focals. Однако использовать отдельные решетки для фокусировки — не самый оптимальный и очень затратный подход. Гораздо лучше использовать голографические линзы, которые значительно проще в изготовлении и обладают теми же оптическими свойствами, что и решётки. Так появилась технология дополненной реальности на основе голографического оптического волновода.

Голографический оптический волновод

Рис. 3: верхний рисунок — объемный вид работы голографического оптического волновода, нижний рисунок — сечение голографического оптического волновода с трассировкой лучей подсветки параллельным пучком.

Основным элементом технологии является голографический оптический волновод — структура, состоящая из нескольких слоев различного назначения. Основной слой — это планарный оптический волновод (1. Planar waveguide), изготовленный из стекла. При изготовлении одна из граней этого волновода полируется под таким углом, чтобы можно было завести параллельный пучок в волновод и добиться распространения излучения по волноводу по принципу полного внутреннего отражения. Тут стоит отметить, что стекло лучше брать оптически чистое, чтобы достичь распространения излучения по волноводу с наименьшими потерями. Излучение, заводимое в волновод, представляет собой расширенный параллельный лазерный пучок с фиксированной поляризацией (4. backlight). На поверхность планарного волновода укладывается голографическая пленка с записанным в объеме оптическим элементом (линзой) (2. HOE (lens)). Лазерный пучок, распространяющийся по такой структуре, частично высвечивается из-за интерференционных особенностей голографической пленки. Высветившееся излучение представляет собой фокусирующийся пучок фиксированной поляризации (на рис. 3(нижний) показано красными стрелками между слоями 2 и 3), который далее может быть модулирован системой из ЖК-матрицы и поляризационного фильтра (3. LCD matrix). При этом систему матрица + поляризационный фильтр можно настроить так, что активные пиксели (на которые подан управляющий сигнал) либо перекрывают пучок, либо наоборот позволяют оставить его светящимся (такое поведение достигается за счет правильной ориентации поляризационного фильтра по отношению к поляризации высвечивающегося пучка). Высветившийся и промодулированный изображением свет фокусируется в центре зрачка глаза наблюдателя и далее проецируется на задней стороне сетчатки (6. retina). Использование метода фокусирования лазерного излучения в центре зрачка позволяет избежать влияния оптической системы глаза (хрусталика, стекловидного тела и т.д.) на формирование изображения. Поскольку вся схема состоит из оптически прозрачных или частично прозрачных слоев, то через всю систему можно наблюдать окружающий мир (5. external objects) без помех.

К отличительным техническим преимуществам такой схемы по сравнению с другими AR технологиями (MagicLeap, Hololens, North Focals, …) можно отнести:

• Максимальный FOV — сравнимый с полем зрения глаза человека (120°)
• Высокая компактность, обусловленная расположением активного дисплея (ЖК матрицы) и просмотровой области в одном месте. Потенциально предлагаемая технология может позволить изготавливать очки в форм-факторе обычных очков для коррекции зрения.
• Высокое разрешение генерируемого изображения. Поскольку изображение генерируется не на отдельном мини-дисплее (как это делается у Magic Leap или Hololens) вне просмотровой области, а прямо на очковой линзе.
  Прочие технические параметры не отличаются какими-то выдающимися характеристиками и являются стандартными для технологий AR.

Изготовление голографического оптического элемента (HOE)

Перед непосредственной сборкой всего устройства, была проведена работа по записи необходимых оптических элементов (линз) в объеме голографической пленки.

Более подробно о том, что такое HOE и где они используются, можно прочитать по ссылке. Существует много материалов, которые используются в голографии и которые рассматривались нами: фоторезисты, материалы на основе галогенидов серебра, фотополимерные пленки. Мы решили особо не заморачиваться с процессом отработки нанесения фоторезиста и всеми техническими тонкостями химии фоточувствительных веществ и взяли уже готовую голографическую пленку Covestro Bayfol HX200, которая обладает дополнительным клеящимся слоем, что значительно упрощает запись и перенесение пленки на планарный оптический волновод. Спектральная чувствительность этой пленки является наиболее подходящей для наших задач.

Рис. 4: голографическая пленка Bayfol HX200, вставка — спектральная чувствительность пленки ссылка

В качестве записываемого элемента использовалась плосковыпуклая короткофокусная линза N-BK7 Plano-Convex Lens, Ø1», f = 25 mm. Такой короткий фокус позволяет расположить голографический оптический волновод на фокусном расстоянии линзы так, чтобы фокус пучка совпадал с центром зрачка глаза наблюдателя. То есть в нашем случае AR дисплей будет установлен на расстоянии 25 мм от глаза.

Запись производилась по стандартной методике голографии в «темной комнате». В качестве источника излучения использовался лазерный диод на 650 нм из набора LitiHolo. Пучок от лазерного диода расширялся до диаметра используемой оптики Ø1, после чего при помощи светоделительной пластины 50/50 делился на опорный и предметный пучки. Предметный пучок проходил через записываемый оптический элемент (N-BK7 Plano-Convex Lens, Ø1», f = 25 mm), а опорный проходил через систему зеркал и под углом проецировался в тоже место голографической пленки, что и предметный пучок. При этом оптическая ось предметного пучка была перпендикулярна поверхности голографической пленки, а оптическая ось опорного пучка составляла порядка 60°к нормали. Такой угол записи обусловлен углом полного внутреннего отражения в планарном оптическом волноводе при последующем заведении излучения.

Для контролирования дифракционной эффективности использовались нейтральные фильтры, устанавливаемые в предметном пучке. Дифракционная эффективность рассчитывалась, как отношения между падающим и дифрагированным пучком в процессе оптического восстановления изображения, записанного в объеме голограммы.

Рис. 5: слева — схема установки для записи образа оптического элемента, который можно помещать в область, обозначенную пунктиром, справа — установка, реализованная на оптическом столе.

Время засветки (экспозиции) и мощность пучков подбирались экспериментально. В нашем случае время засветки составляло — 2 мин, мощность опорного пучка — 1.96 мВт, мощность предметного пучка — 1.68 мВт (наибольшая идентичность мощностей в пучках соответствует случаю наибольшей дифракционной эффективности).

После записи образа короткофокусной линзы, голографическая пленка подвергалась УФ облучению в течение нескольких часов. В качестве источника УФ-света использовалась кварцевая лампа КРИСТАЛЛ. В результате УФ засветки не засвеченная область пленки становилась прозрачной, как показано на рис. 6. (справа). Полученные голографические оптические элементы можно переносить (переклеивать) на подготовленный планарный волновод, который в последующем будет использоваться в AR очках.

Рис. 6: слева — пример голографически записанной оптической линзы (область с радужной окраской — голографическая линза), справа — изменение цвета и прозрачности голографической пленки Covestro Bayfol HX200 в зависимости от длительности пост-засветки УФ кварцевой лампой (от 0 сек (0) до 2 часов (7) с шагом в 15 мин)

Список компонентов для прототипа AR очков:

• Оптический планарный волновод с одной из граней, отполированной под углом 45°. Размеры 40 мм x 40 мм и толщина 4 мм
• Голографическая пленка Covestro Bayfol HX200
• Обычная китайская красная лазерная указка на 650 нм
• Плосковыпуклая короткофокусная линза N-BK7 Plano-Convex Lens, Ø1», f = 25 mm
• Поляризационная клеящаяся пленка для LCD дисплеев
• ЖК-модуль Nokia 5110 84×48
• Контроллер Arduino Nano
• расходники: провода, кнопки, батарейки и т.д.

Сборка прототипа

Первоначально мы попробовали изготовить стеклянный планарный оптический волновод самостоятельно, используя «шлифовальные черепашки» (казалось, что для проверки работоспособности прототипа — этого будет достаточно). Но такой способ не позволил получить ровного края бокового окна. При обработке образуются сколы в нижней части, где толщина стекла наименьшая, также качество полировки оставляет желать лучшего. Помучившись с полировкой, мы решили заказать планарный волновод фабричного производства с углом при основании 45°.

Рис. 7: слева — самодельные оптические волноводы (у основания видны сколы), справа — планарный оптический волновод фабричного производства.

LCD матрица была взята из ЖК-модуля Nokia 5110 84×48. Для этого аккуратно разобрали дисплей, удалили рассеиватель, подсветку и один из поляризационных фильтров (Рис. 8). В итоге осталась только сама ЖК-матрица и один наклеенный на нее поляризатор. Для удобства миниатюризации припаяли одножильные лакированные провода к контактам ЖК-матрицы (если эти провода не повреждать и особо не гнуть, то их лаковой защиты хватит в качестве изоляции).

Рис. 8: частично разобранный ЖК модуль Nokia 5110 84×48. На фото ЖК-модуль с двумя поляризаторами (когда один из них отклеили, матрица стала значительно более прозрачной)

Записали ряд образцов голографической линзы с разными дозами экспозиции и разным отношением мощностей в опорном и предметном плечах. Выбрали пленку с наибольшей дифракционной эффективностью (дифракционную эффективность оценивали с помощью измерителя мощности оптического излучения) и наибольшей однородностью высвечивания. У выбранного нами образца дифракционная эффективность составила 17%, что достаточно мало. В теории можно изготовить голографические оптические элементы с дифракционной эффективностью до 98%. Далее приклеили голографическую пленку на планарный волновод так, чтобы края голограммы и грани, скошенной под углом 45° планарного оптического волновода, максимально совпадали.

Планарный оптический волновод с приклеенной голографической линзой вставлялся в специальный держатель, распечатанный на 3D принтере. Также в этот держатель устанавливалась LCD матрица с наклеенным на нее поляризатором (рис. 9). Отпечатки пальцев и прочий мусор на поверхности может нарушать условие полного внутреннего отражения, что приводит к высвечиванию пучка в совершенно ненужных местах. Для защиты и предотвращения попадания грязи были использованы защитные окна, изготовленные из предметного стекла.

Рис. 9: конструкция дисплея дополненной реальности.

В качестве источника подсветки использовался лазерный светодиод на 650 нм, с правильно выбранной ориентацией поляризации света. Излучение от лазерного диода проходило через плоско-выпуклую линзу и коллимировалось до параллельного пучка, который в последующем заводился через торец планарного стеклянного волновода. Все параметры конструкции были экспериментально, итерационно подобраны с использованием 3D печати (рис. 10).

Рис. 10: пунктиром выделена область формирования параллельного пучка от лазерного диода (внутри находится линза для преобразования расходящегося пучка в параллельный с последующей проекцией на боковое окно планарного волновода)

Для крепления к голове изготовленного AR дисплея с подсветкой был изготовлен функциональный каркас (рис. 11), изготовленный по образу дужки обычных очков для коррекции зрения. Так как форма головы человека индивидуальна и может отличаться по геометрии и по размеру от изначально подобранных параметров, в конструкцию были добавлены дополнительные регулировочные винты, которые позволяют настроить очки под особенности каждого, а именно добиться совпадения пятна фокусировки от AR дисплея и центра зрачка наблюдателя. В боковые дужки были установлены элементы питания, элементы (кнопки) и блок управления (Arduino Nano). Кнопки необходимы для переключения между картинками и запуска воспроизведения изображений.

Рис. 11: слева — конструкция в виде дужки очков, для крепления AR дисплея, справа — в одной из дужек спрятан блок управления (Arduino Nano)

В конце-концов все это было настроено и собрано в один автономный девайс (рис. 12).

Рис. 12: первый прототип AR очков на основе голографического оптического волновода.

Конечно, мы не сразу приступили к сборке компактного варианта. Первоначально подбор базовых параметров технологии осуществлялся для прототипа, собранного на оптическом столе. Изображения, полученные в лабораторном устройстве, показаны на рис. 13. После того, как была продемонстрирована работоспособность лабораторной схемы, мы приступил к сборке устройства в компактном форм-факторе (AR очки).

Рис. 13: Изображения наложения цифровой сгенерированной информации на образ окружающего мира (на оптическом столе).

Как можно видеть из рис. 14 компактный протип AR очков работает:)))
К сожалению, изображения, полученные на компактном прототипе (рис. 14), сильно хуже, чем изображения полученные на оптическом столе (рис. 13). Скорее всего, это связано с неправильно подобранным углом заведения излучения и неправильно выставленной ориентацией поляризации лазерного источника. Также можно видеть, что изображение имеет вертикальные дефектные линии, обусловленные неточностью позиционирования голографической пленки с краем планарного волновода. Ну и не стоит забывать, что дифракционная эффективность голографического элемента порядка 17%, что достаточно мало.

Рис. 14: слева — прототип очков дополненной реальности, справа — изображения наложения цифровой сгенерированной информации на образ окружающего мира (компактный прототип). На изображении: шахматная доска, очки, крест, мишень (видно очень плохо, так как использовалась диф.решётка с низкой диф.эффективностью)

Из минусов технологии:

Разработанная технология отличается высочайшей компактностью. Даже не знаю аналогов, в которых изображение генерировалось прямо в просмотровой области. Как правило, в существующих AR технологиях изображение выводится на микро-дисплее, а затем по «оптическому волокну» передается в просмотровую область / очковую линзу. Также технология обладает наибольшим FOV, сравнимым с FOV глаза человека.

Но все же есть один недостаток:
Глаз человека находится в постоянном движении (смотрит вправо, вверх, влево, вниз, прямо). Это приводит к тому, что роговица может перекрывать пучок света, проходящий через центр зрачка. Пока не понятно, как оптимально решить проблему с постоянной подстройкой оптической системы (положения фокусного пятна) под положение зрачка пользователя.

А что дальше???

1. На момент написания поста уже одобрена патентная заявка по данной технологии.
2. С учетом допущенных ошибок начинается сборка нового прототипа с улучшенными параметрами (контрастностью изображения, разрешения картинки и т.д.).
3. Будет опробована реализация данной технологии для генерации не только монохромных, но и цветных изображений.
4. Разрабатывается система подстройки фокусного пятна под ориентацию глаза, под положение зрачка наблюдателя. Рассматриваются способы, подобные решениям в области VRD технологий.

В целом, хотя технология находится еще в стадии развития, мы считаем, что разработанный принцип наложения цифрового изображения на образ окружающего мира может послужить базой для разработки новых AR технологий, обладающих высочайшей компактностью и большим просмотровым полем (FOV).

P.S. Если вы шарите в электротехнике или любите Science (оптику, фотонику и т.д.) и у вас есть желание покопаться/поразрабатывать всякие AR хардвар штуки — пишите в лс.

P.P. S. Выражаются благодарности всей тиме AR_Global (Анне П, Вере П, Мише Е), которая принимала непосредственное участие в разработке технологии и её реализации в виде прототипа. За поддержку выражается благодарность всему коллективу NanoLab.