Определение местоположения в Беспилотных автомобилиях (localization)
Всем привет, меня зовут Максим Гусев!
Я руководитель проекта в компании по разработке автономного транспорта, а так же студент ATU, Ирландия по Автономным ТС (магистерская степень). Хочу рассказать Вам, как роботы, беспилотники и любой автономный транспорт определяет где именно он находится в текущий момент времени.
Я учусь в Ирландии и работаю на международный рынок, поэтому часть терминов оставил на английском или перевёл по своему усмотрению.
Рис. 0. Фото Waymo в Сан-Франциско из открытых источников
1. Почему это важно?
Услуга беспилотного такси от Waymo (дочерняя компания Google) в Сан-Франциско была запущена в марте 2022 года и одобрена Национальным управлением безопасности дорожного движения США (NHTSA). Автономные технологии и наземные транспортные средства проходят путь от демонстрации прототипа системы в ограниченных условиях до полномасштабных испытаний.
Это означает, что автономные наземные транспортные средства (autonomous vehicles / AV) как никогда близки к широкому использованию. Как большие, так и малые правительства по всему миру должны ответить на комплекс технических, юридических и нормативных вопросов, связанных с полной автономией, включая, помимо прочего, вопросы, касающиеся типа водительских прав, страхования, компенсации, вопросов этики и безопасности, инфраструктуры и т. д. Все эти вопросы жизненно важны и нуждаются в решении, но важно обратить внимание на чувство безопасности пользователя и уверенность в зрелости технологии, что также является важным. А что как не понимание технологии и отдельных функций вызывает доверие и чувство безопасности?
Рис. 1. Карта мира, где отмечены страны, начавшие обсуждение законодательства в области автопилотного транспорта на уровне министров.
В рамках одной статье невозможно рассмотреть и оценить все функции автономных транспортных средств. Поэтому здесь сосредоточимся на функции локализации как на одном из основных и наиболее взаимосвязанных элементов в архитектуре системы. Если статья зайдёт, то запущу целый цикл и возможно обсудим архитектуру беспилотников.
Локализация или определения местоположения в контексте ADAS или автономного транспортного средства относится к процессу определения положения (местоположения и ориентации) транспортного средства в мире и в подсистеме карты транспортного средства. Проще говоря, локализация означает определение местоположение и ориентация транспортного средства.
Точная локализация обеспечивает беспилотникам повышение эффективности для других подсистем. Например, если транспортное средство определяет свое точное местоположение, система может предсказать, какая линия движения поворачивает, какая линия движется прямо, и предотвращает ненужное изменение траектории. Кроме того, система может прогнозировать, где расположены светофоры, стоп-линии, знаки и какие из этих элементов относятся к запланированному маршруту, чтобы снизить нагрузку и требования к функциям восприятия и классификации (машинное зрение).
В настоящее время все системы локализации можно разделить на две группы: основанные на GNSS (глобальная навигационная спутниковая система) и основанные на окружающей среде. Системы GNSS считаются более традиционными. С другой стороны, системы, основанные на окружающей среде, более современные и точные.
Эта статья, которуя я писал для института, поэтому она структурирована в формате научной статьи и делится следующим образом. Раздел II посвящен локализации на основе GNSS в контексте автономной работы транспортных средств. В разделе III обсуждается локализация на основе окружающей среды, а в разделе IV описываются современные концепции локализации. Наконец, Раздел V подводит итоги текущего состояния локализации.
2. Локализация на основе GNSS
Локализация автопилота на основе GNSS включает сам GNSS с данными датчиков эго-движения (движения беспилотного транспорта), обработанными фильтром Калмана. В статье рассмотрен процесс от ввода данных до их вывода.
В первую очередь рассмотрим данные GNSS. Проще говоря, чип GPS получает сигналы от спутников на околоземной орбите и вычисляет координаты устройства. Стандарт глобальной системы позиционирования, опубликованный в 2020 году, допускает точность GPS-оборудования от 2 до 5 метров. В реальности же допуск сигнала до 10 метров из-за низкой скорости обновления, отражения от здания и других помех в условиях современного города. При этом спутниковые сигналы недоступны в туннелях и подземных парковках, а также часто сильно ухудшаются в городских каньонах и вблизи деревьев в результате перекрытия линии обзора спутника или многолучевого распространения сигнала.
Эго-движение может быть представлено двумя способами: Инерциальной Единицей Измерения и Мертвым Счислением.
А. Инерциальный измерительный блок или Inertial Measurement Unit (IMU)
AV (автономный транспорт / autonomous vehicles) должны безопасно перемещаться в любой среде и при любых физических ограничениях, например день или ночь, высокая или низкая температура, снег или туман и т. д. Только акселерометр и гироскоп работают успешно и стабильно при любых условиях. А именно, эти два очень важных и недорогих датчика встроены в блок инерциальных измерений (IMU) и их можно найти практически везде. В современном пилотируемом автомобиле имеется почти 30 датчиков IMU для поддержки ADAS, ABS, круиз-контроля и многих других важных систем.
По сути, IMU представляет собой автономную высокочастотную (1 кГц) систему, которая измеряет линейное и угловое движение с использованием гироскопов и акселерометров. После обработки данных с инерциального датчика мы можем получать информацию о положении и движении автомобиля в режиме реального времени. Но на результаты IMU также могут влиять смещения и шумы. Но что самое главное, то IMU датчики накапливают ошибки и без координации с другими типами датчиков будет бесполезен при длительных поездках.
B. Навигационное счисление или Dead Reckoning
Навигационное счисление — это метод расчета положения движущегося объекта на основе ранее определенного положения или получения и последующего учета данных о скорости, направлении движения и курсе в конкретный момент. В навигационной системе счисления пути транспортное средство оснащено датчиками, которые определяют длину окружности колеса и регистрируют его повороты и направление поворота. Эти датчики встраиваются в пилотируемые автомобили и для других целей (антиблокировочная система, электронный контроль устойчивости) и полученные данные могут быть переданы в навигационную систему через сетевую шину (CAN).
В соответствии с законодательством РФ средняя ошибка IMU и счисления пути может быть только положительной и не должна превышать текущую скорость более чем на 5% + 6 км/ч. Кроме того, эти модули имеют свои ограничения. Например, счисление пути имеет проблемы с поверхностями с низким коэффициентом сцепления (пробуксовка колес), а проценты зависят от состояния колес.
Когда система получает данные от эго-движения и GNSS, фильтр Калмана используется для объединения доступных данных датчиков из разных источников в комбинированное определение местоположения. Фильтр Калмана — это алгоритм, основанный на серии измерений, наблюдаемых с течением времени, включая статистический шум и другие неточности, для получения оценок неизвестных переменных, которые имеют тенденцию быть более точными, чем оценки, основанные только на одном измерении, путем оценки совместного распределения вероятностей по переменные для каждого периода времени. Проще говоря, фильтр выбирает параметры, чтобы получить тот же результат, что показывают несколько датчиков, не противореча при этом предыдущим состояниям.
3. Локализация на основе окружающей среды
Локализация на основе среды означает процесс, при котором оценка локального движения получается путем сопоставления данных в реальном времени с подробной предварительно построенной картой высокого разрешения (HD-картой).
Что касается его шаблонов и применения, локализацию можно разделить следующим образом:
raw-data или сырые данные — сравнение необработанных данных датчика (облако точек) с картой HD
features detection или обнаружение признаков — сравнение неклассифицированных объектов с HD-картой
landmark detection или обнаружение ориентиров — сравнение классифицированных объектов с картой HD
Каждый паттерн имеет свои преимущества и недостатки и показывает наилучший результат в разных операционных доменах (operational domain или просто среда использования, такие как город, сельская местность и т.д.). В статье рассмотрена схема обнаружения ориентиров, так как она наиболее подходит для городской среды.
Среди преимуществ обнаружения ориентиров есть мультисенсорные карты, место для хранения и время вычислений. К недостаткам можно отнести зависимость от доступных ориентиров и необходимость обновления карты. Давайте последовательно рассмотрим эти качества.
A. Multi‑sensor map / Мультисенсорная карта (+)
Обычная HD-карта создается для автомобиля с точным набором датчиков. Автомобиль с набором сенсоров Камера + LiDAR + Радар воспринимает окружающую среду иначе, чем автомобиль с камерой и радаром. Это означает, что карту HD, разработанную для Tesla, нельзя использовать для Waymo. Однако, карта на основе ориентиров (классифицированных объектов) может быть использована для автомобилей с другим набором датчиков.
B. Storage space / Место для хранения (+)
Если HD-карте нужны только сжатые данные о классифицированных объектах и их местонахождении, она займет меньше места, чем многослойная карта с классификацией сырых данных.
C. Computation time / Время расчета (+)
Процесс сопоставления классифицированных объектов сжатых картографических данных высокой четкости занимает меньше времени, чем локализация необработанных данных благодаря алгоритму SLAM, а также не включены полная обработка и классификация необработанных данных датчика.
D. Dependence on available landmarks / Зависимость от доступных ориентиров (-)
Система не работает должным образом без таких ориентиров, как, например, дороги вдоль полей. Локализация сельской местности обычно основана на функциях или шаблонах необработанных данных (raw-data).
E. The map must be updated / Карта должна быть обновлена (-)
Точность локализации по HD-карте ориентира сильно зависит от обновления данных. Изменение всего окружения невозможно за один день и требует длительного процесса создания и распознавания (здания, деревья, столбы). А для смены столбов, знаков или светофора даже не требуется специальных разрешений (плановые работы). Сильно здесь помогает и снег, т.к. меняет ландшафт полностью.
Рис. 2. Совпадения между наблюдениями за ориентирами и ориентирами на карте ограничивают траекторию движения автомобиля (черные треугольники). Соединения (серые линии) показывают, из каких поз наблюдался ориентир. Текущее положение автомобиля отображается в виде серого прямоугольника.
Выше я показал упрощенное видение локализации, основанное на схеме обнаружения ориентиров. GNSS, как и эго-движение, наблюдались в предыдущем разделе. HD-карта и обнаружение ориентиров (восприятие) — это разные функции, и они не рассматриваются в статье.
Концепты локализации в разработке
В настоящем разделе обсуждаются концепции локализации. Рассмотрим техническое решение как концепцию, основанную не на технической зрелости, а на применении в современных автономных транспортных средствах и с учетом его потенциала для распространения по всему миру.
A. Георадар локализации / Localizing Ground Penetrating Radar (LGPR)
Локализация на основе GNSS или окружающей среды имеет ограничения из-за ненастной погоды и изменения окружающей среды. Например, шаблон необработанных данных не будет работать должным образом зимой из-за сугробов, меняющих уровень земли и закрывающих дорожную разметку. Решение этой проблемы остается одной из открытых задач по повышению производительности автономных транспортных средств в различных условиях.
Локализационный георадар (LGPR) является возможным вариантом в качестве альтернативного решения локализации с использованием подземных объектов, которые являются стабильными во времени и менее подвержены влиянию наземных условий. Однако имеющиеся в продаже датчики и электроника LGPR недоступны на рынке.
Рис. 3. Принцип локализации георадара / Localizing Ground Penetrating Radar (LGPR)
Георадар — высокочастотный (от 10 МГц до 1000 МГц) радар электромагнитных волн высокого разрешения для получения изображения грунтов и наземных сооружений. Антенна используется для передачи и восстановления радиолокационных импульсов, генерируемых генератором импульсов. Затем возвращенный импульс обрабатывается для получения изображений профиля почвы. Основными геотехническими приложениями являются изображение профиля почвы и определение местоположения захороненных объектов. GPR обеспечивает непрерывное изображение профиля почвы с очень небольшим нарушением почвы. Георадар не подходит для влажных глин и илов с высокой проводимостью (0,15 мОм/м). Разрешение георадара уменьшается с глубиной.
B. SLAM (Simultaneous Localization and Mapping / одновременная локализация и сопоставление)
SLAM (Simultaneous Localization and Mapping) — метод навигации, используемый для определения местоположения и ориентации автономных роботов в заранее неизвестной им местности, а также для обновления или дополнения уже известных карт окружающего пространства.
Рис. 4. Карта HD на основе алгоритма SLAM.
Принцип работы SLAM заключается в том, что транспортному средству необходимо знать свое местоположение в каждый момент времени, а также постепенно сканировать окружающее пространство с помощью датчиков, составляя таким образом карту местности. Карта строится постепенно по мере того, как машина исследует новые области. Основным источником информации о местоположении робота является одометрия, полученная тем или иным способом (колеса, компьютерное зрение, IMU или их комбинация). Однако по мере создания карты робот начинает проверять карту. Например, если робот проходит через уже отсканированный им участок комнаты, он проверяет по определенным шаблонам. В результате, если устройство понимает, что текущие показания одометра не совпадают с показаниями карты, происходит коррекция одометрии.
Текущий метод обычно используется для локализации внутри помещений и для процесса обновления карты HD.
C. Road Side Unit (RSU)
Road Side Unit (RSU) — это специальное устройство беспроводной связи, расположенное на обочине дороги, которое обеспечивает подключение и информационную поддержку проезжающих транспортных средств, включая предупреждения о безопасности и информацию о дорожном движении. RSU помогает не только в локализации автономных транспортных средств, но и может помочь с коммуникацией V2X. Сам RSU может обнаруживать информацию об инфраструктуре, такой как светофоры, пешеходные переходы или автомагистрали, а затем превращать ее в передаваемое сообщение для встречных транспортных средств, оснащенных бортовыми устройствами, получающими выделенный сигнал связи ближнего действия, создавая видео- и аудиопредупреждения в транспортных средствах. . В свою очередь, RSU также может обрабатывать местоположение оборудованных транспортных средств и передавать их через RSU в центральную систему управления для координации движения на перекрестке и во всем районе. Согласно информации с веб-сайта Национальной администрации безопасности дорожного движения США [8], с помощью технологии V2V можно было бы предотвратить 615 000 автомобильных аварий.
Рис. 5. Принцип дифференциальной глобальной системы позиционирования / Differential Global Positioning System (DGPS).
5. И какой из этого вывод?
Настоящая статья содержит краткий обзор современных методов локализации транспортных средств на основе GNSS и окружающей среды, а также концепций инфраструктуры и систем V2V и V2I, которые могут помочь с локализацией.
Провёл первичный анализ возможностей и ограничений каждого метода, который может быть реализован в автономных транспортных средствах. Было показано, что с точки зрения производительности локализация, основанная на методах окружения, демонстрирует наибольшую перспективу для автономных приложений. Однако для этого типа системы необходимы HD-карты. Постоянно развивающийся и основанный на финансовой аналитике рынок HD-картографов достигнет размера 3 млрд долларов США в 2028 году.
Концепции объектов инфраструктуры с известным положением (RTK) можно использовать для обмена точными оценками положения с учетом их хорошо спланированной реализации; всегда может быть доступно достаточное количество оценок положения. Её можно внедрить в городах в коммерческих проектах, таких как такси и службы доставки. Однако перед массовым производством потребуются дальнейшие ограниченные испытания для проверки надежности этих систем, их производительности в различных условиях и уточнения рабочих параметров.
