Карты и перспективные картографические задачи в ADAS приложениях
В данной статье хотелось бы поговорить о подходах к построению карт и перспективах их развития.
Зачем нам карты?
При использовании ADAS систем второго уровня , умеющих «держать необходимую полосу» или «дистанцию», нет необходимости использовать сложные, высокоточные карты, достаточно просто иметь навигационную карту , позволяющую построить маршрут из точки А в точку Б. При этом координаты местоположения могут определяться по GPS с точностью до нескольких метров.
Однако с ростом сложности задач: необходимости движения на больших скоростях или при решении задачи съезда с эстакады, не говоря уже о движении по городу, к навигационному обеспечению автомобиля предъявляются все более высокие требования. Никто не хочет пропустить свой съезд с шоссе, поэтому для правильного маневра автомобиля нужна высокоточная навигация с точностью дециметров. Достижение такого уровня точности возможно только при наличии карты такой же точности, такая связка НАВИГАЦИЯ — КАРТА в научной литературе называется термином SLAM (одновременная навигация и картографирование)
Одним из принципов данной концепции является тот факт, что без точной карты нельзя получить точной навигации, и наоборот.
Очевидно, что при движении в городской среде, точная карта еще более востребована. Наиболее известный способ построения точной карты реализуется с использованием лидаров. Лидар- это устройство, которое может построить модель окружающего пространства из облака точек в определенной зоне с сантиметровой точностью.
Лидарные карты
Лидарные карты обладают высокой точностью на уровне единиц сантиметров и обладают высокой детализацией. Процесс построения карты обычно состоит из нескольких этапов:
Лидарное облако точек и край нашего офиса Cognitive Pilot
Преобразование облаков в из системы координат лидара в систему координат объекта
Предобработка данных (удаление шумов различными фильтрами)
Формирование траектории движения объекта по данным GPS и IMU и реализация процедуры undistorted облаков точек (актуально для участков с большими скоростями движения)
Удаление из лидарных облаков динамических объектов с использованием нейросетевых детекторов (например MMDetection3D)
Лидарное облако точек и динамические объекты, найденные нейронной сетью
Построение лидарной одометрии, с учетом данных GPS и замыканий цикла (GPS нужен для устранения нарастания погрешностей одометрии по высоте, а замыкание для выравнивания траектории при проезде одного и того же участка местности)
Примерно так выглядит исходная траектория по GPS и результат, полученный после уравнивания
Так выглядит уравненная карта района вокруг офиса Cognitive Pilot в лидарном вьюере (после нескольких кругов)
Непосредственно рядом с офисом
Однако данный подход имеет ряд недостатков:
трудоемок — требуется сбор данных, они довольно объемные
необходимо специальное оборудование, оно стоит больших денег, и устанавливать его массово на парк автомобилей нет возможности
обслуживать такую карту при ее масштабировании или изменении обстановки на улице довольно трудно и долго
карта требует процедур векторизации некоторых типов объектов (например зданий), что надо делать вручную.
Наверное, данный фактор является одним из главных — ремонт на улицах города происходит постоянно. Поскольку парк таких специально оборудованных автомобилей конечен, то масштабировать такую систему при росте географического «ареала» применение системы становится сложнее, но тем не менее по этому пути сейчас успешно развиваются такие HD сервисы, как TomTom (https://www.tomtom.com/), Here (https://maps.here.com/).
Диаметрально противоположный подход предлагается компанией Mobileye, это формирование карты ориентиров.
Карты ориентиров
Под ориентирами понимаются различные элементы дороги, например: дорожные знаки, линии разметки, столбы, светофоры и прочее. Все то, что можно детектировать на изображении. У такой идеи есть неоспоримые преимущества: во-первых, данная информация может быть получена практически с любого автомобиля, оснащенного камерой (количество которых кратно больше тех, что имеют лидар), а это создает предпосылки к коллективному (crowd sourced) сбору карт. Кроме того, это значит, что обновление карт может производиться в гораздо более ранние сроки при первом проезде автомобиля по новому участку, не дожидаясь «спецборта».
Примеры ориентиров, получаемые из изображения (из слайдов компании mobileye)
С точки зрения точной навигации нужно иметь достаточное количество таких ориентиров на местности. По приведенной ниже статистике количество таких объектов достаточно для обеспечения высокоточной навигации, и встречаются они в среднем каждые 40 метров (дорожные знаки) и каждые 20 метров (если учитывать еще и столбы).
Статистика по «встречаемости» разных типов объектов
Если организовать обнаружение данных ориентиров на борту и пересылать на сервера только результаты распознавания, а не исходные картинки, сообщения становятся небольшого размера и занимают 10 килобайт на километр. Соответственно, 1 МБайт набегает за 100 км движения, что в настоящее время — копеечные данные. Конечно, встает достаточно сложный вопрос агрегации данных с разных машин и решение задачи соответствия распознанных объектов. Что можно предпринять тут, я расскажу в своей следующей статье.
Не навигацией единой
Помимо ценности применительно к ADAS подсистемам, наличие такой карты открывает большой потенциал и для более широкой функциональности и аналитики. Например, для коммунальных компаний и города важно знать состояние инфраструктуры (люков), где работают лампы освещения, телекоммуникационные шкафы, есть ли утечки воды, мусор и прочее. В пределе все то, что может увидеть человеческий глаз, может быть нанесено на карту и проанализировано (это этап 3 показан на рисунке). Очевидно , что перечень таких событий будет только увеличиваться.
Некоторые примеры ситуаций, которые могут быть закартированы и полезны
Например, можно распознавать и картографировать ямы в реальном времени. Можно формировать информацию о количестве пешеходов на остановках, где они чаще переходят дорогу, формировать аналитику по уязвимым участкам дороги, где возникают проблемы с парковкой и где люди часто вынуждены парковаться.
И главное- вся эта информация будет самая новая, потому что данные поступают со всех машин, которые проезжают по данной улице.
Примеров решаемых задач может быть достаточно много и, безусловно, они могут быть уникальны для каждого города. Где-то будет интересно узнать о движении велосипедистов, где-то о средней скорости движения автомобилей по городу, какие риски могут возникать из-за этого, требует ли это установки дополнительных дорожных знаков. Незаконченное строительство, создающее помехи для других участников движения, и другие факторы , присутствующие на дороге.
Дополнительные ценности от внедрения карт
Выводы:
HD карты все чаще используются на рынке ADAS
Все больше и больше функций и приложений ADAS требуют наличия высокоточной карты
Реализуется переход от анализа объектов в интересах прежде всего навигации к семантическим слоям, чтобы лучше понимать события в реальном времени.
Камера — лучший сенсор для составления коллективной карты по сравнению с лидарами и радарами, если исходить из цены, распространенности и выдаваемой полезной информации для анализа
Имеется растущий спрос на более точную съемочную информацию и обновление карты в реальном времени для умных городов, которые переходят цифровой формат для своего планирования и повседневного управления
Часть рисунков заимствована из презентаций компании mobileye
https://www.youtube.com/watch? v=uEbfyc2ilqY&t=229s
https://www.youtube.com/watch? v=n8T7A3wqH3Q
