КВЧ-радары изменят нашу жизнь. Военная технология идёт в смартфоны
Слева направо: эволюция датчиков КВЧ-излучения со встроенным радаром, источник: Google AI
Миллиметровые волны (ММВ) или крайне высокие частоты (КВЧ) — диапазон радиоволн с длиной волны от 10 мм до 1 мм, что соответствует частоте от 30 ГГц до 300 ГГц. Они используются в военных и полицейских радарах, сканерах безопасности, КВЧ-терапии для лечения многих болезней, астрономических инструментах.
Но сейчас наступает эпоха, когда радары миллиметрового излучения (mmWave, 60 ГГц) созрели для широкого коммерческого применения. Скоро их разрешат встраивать в обычные смартфоны. Это открывает кардинально новые возможности по использованию портативных гаджетов: распознавание жестов в автомобилях, дистанционный мониторинг сна, отслеживание перемещения всех людей в офисе и многое другое.
Раньше для использования радаров mmWave в бытовой электронике требовалось специальное разрешение FCC. Первыми его получила Google в 2018 году, затем Vayyar, Amazon и некоторые другие компании.
13 июля 2021 года Федеральная комиссия по связи США предложила открыть диапазон 60 ГГц для коммерческих приложений mmWave. Это решение зажгло зелёный свет для десятков стартапов и новых коммерческих продуктов, которым разрешили свободно использовать радары КВЧ без специального разрешения FCC.
Возможность широкого применения КВЧ-радаров появилась также благодаря прогрессу в изготовлении RF CMOS
Микросхема RF CMOS (РЧ КМОП) или RFIC объединяет в себе радиочастотную (RF), аналоговую и цифровую электронику. В последнее время стало возможно разместить на одной микросхеме радар, антенны и вычислительные ядра, что позволяет выпускать датчики mmWave по гораздо более низкой цене.
Радар работает путём передачи электромагнитных волн и обработки ответных волн, отражённых от окружающих объектов. У сигнала на частоте 60 ГГц длина волны 5 мм, что позволяет mmWave получать подробную информацию о нас и нашем физическом окружении.
Например, вот как выглядит результат обработки отражённого сигнала КВЧ на смартфоне, если человек приближается (слева), удаляется (в центре) или делает жест рукой (справа).
Данные КВЧ-радара на смартфоне, источник: Google AI
На КВЧ-микросхемах обычно несколько антенн, так что датчик получает картинку как бы в четырёх измерениях. Кроме трёх координат, датчик улавливает ещё скорость каждой отражённой точки. Подробнее о принципе работы 4D-радаров см. здесь.
На диаграмме ниже сравниваются четыре типа распространённых датчиков: ультразвук, камера (2D), лидар (3D) и радар (4D). Как видим, радар является единственным датчиком, который получает информацию о скорости объекта.
Ещё одно преимущество радара заключается в том, что он может видеть сквозь пластик и другие материалы. Это делает его отличным выбором для бытовой электроники, поскольку его можно разместить под корпусом любого гаджета.
Радар невосприимчив к факторам окружающей среды, таким как свет, температура и пыль, так что он отлично работает в условиях, где фотосенсор бесполезен. При этом он чрезвычайно надёжен, в микросхеме буквально нечему ломаться: здесь нет движущихся частей или линз.
Настоящая польза радаров mmWave проявляется, если их интегрировать в системы ИИ. Например, исследователи из университета Карнеги — Меллон в прошлом году обучили нейросеть, которая точно классифицирует по данным радара различные виды деятельности: махи руками, приседания, езда на велосипеде, хлопки, выпады, прыжки с места.
Первый прототип коммерческого устройства со встроенным радаром показала студия Google ATAP (Advanced Technology & Projects) в 2015 году. Это был проект умных часов Google Soli, разработанный командой под руководством Ивана Попырева (см. статью на Хабре).
Если вкратце, Project Soli — это радар на миниатюрном чипе, который можно встраивать в любые окружающие объекты: например, зеркало, плита, телевизор. Любые предметы, которые взаимодействуют с человеком. Теперь они будут распознавать жесты пальцами с точностью менее 1 мм.
Не требуется установка громоздких камер и дополнительного оборудования, тем более никакие камеры не смогут отслеживать движения с частотой 10000 FPS, как это делает Soli. Бесконтактные жесты можно использовать для расширения UI различных устройств.
В октябре 2019 года радар Soli встроили в смартфон Pixel 4 (маркетинговое название (Motion Sense), где он ускорял процесс разблокировки по лицу наряду и поддерживал распознавание нескольких базовых жестов, такими как управление музыкой. Но с тех пор чип не включали ни в один смартфон Pixel. Вероятно, разработчики решили ещё поработать над применением этой технологии в смартфонах.
Кроме того, в 2021 году компания Google выпустила умный дисплей Nest Hub второго поколения с функцией Sleep Sensing.
Умный дисплей Nest Hub
Функция Sleep Sensing использует радар Soli для мониторинга сна человека рядом с дисплеем на основе его движений и дыхания — всё это без камеры или какого-то нательного сенсора.
Разбор этого гаджета ценой $60 показал чип радара Infineon, который стоит $3,65.
Google Nest Hub (2-е поколение)
Компания Amazon в начале 2021 года выпустила умный дверной звонок Ring Video Doorbell Pro 2 со встроенным КВЧ-радаром. Соответствующая функциональность для потребителей преподносится как функции '3D Motion Detection' и 'Bird’s Eye View'. У радара меньше ложных срабатываний и шире радиус действия, чем у стандартной ИК-камеры. Кроме того, он видит сквозь кусты, деревья и другие препятствия.
Amazon также последовала примеру Google, применив КВЧ-радар для мониторинга качества сна.
Apple пока ничего не выпустила со встроенным радаром, но в начале 2021 года получила патент на устройство с круговой радарно-антенной решёткой.
На базе технологии mmWave работают устройства офисного мониторинга нового поколения, которые точно отслеживают местоположение сотрудников в офисе в реальном времени.
Над автомобильными КВЧ-радарами работают компании Novelic, Arbe, Vayyar, Uhnder, and Oculii и др.
Стартап Miku разработал радионяню со встроенным радаром Miku Pro Smart Baby Monitor, которая не только снимает ребёнка на видео, но дистанционно отслеживает частоту дыхания и качество сна.
Технологию можно использовать также для беспроводной связи как внутри, так и снаружи помещений. Все крупные сотовые операторы сейчас работают над внедрением mmWave. Есть и сторонние проекты, такие как Facebook Terragraph и стартап Aervivo.
Стандарт WiGig (WiFi на частоте 60 ГГц) принят ещё в 2009 году и постепенно набирает обороты. Например, Intel создала беспроводной адаптер для гарнитуры Vive VR с использованием WiGig, у которого практически нулевая задержка и скорость передачи данных 4,6 Гбит/с.
Последний стандарт WiFi сочетает в себе методы радиолокации и связи для беспроводного зондирования с помощью WiFi-маршрутизаторов. То есть маршрутизатор WiFi сможет эффективно отслеживать перемещение объектов по квартире и распознавать жесты.
Как видим, прогресс в производстве КВЧ-радаров и решение FCC открыть спектр 60 ГГц помогло выйти на рынок ряду гаджетов с принципиально новой функциональностью. Судя по всему, mmWave — очередная прорывная технология, которая сильно повлияет на окружающие нас интерфейсы. Возможно, через несколько десятилетий распознавание жестов будет естественной характеристикой многих гаджетов и других окружающих объектов.
Для продвижения нового стандарта и единых API в январе 2022 года образован технологический альянс Ripple.
