Наступление домашних роботов, вооруженных лидарами
Цена трехмерных лидарных сканеров опустилась ниже ста долларов. Появились недорогие энергетически эффективные робоплатформы высокой мобильности, способные, например, пылесосить лестницы. Эта сумма технологий обещает революцию в области домашних роботов.
Лидары широким фронтом ворвались в робототехнику, автомобилестроение и дистанционное зондирование примерно два десятка лет назад. В 2000 году я впервые взял в руки картинку городского квартала, полученную при сканировании самолетным лидаром. В США с 2003 года ДАРПА (Defense Advanced Research Projects Agency) начало финансировать соревнования беспилотных автомобилей, которые, как правило, оснащались лидарами. Это привело к быстрой эволюции самоуправляемых автомобилей и роботов, которые со страниц научно-фантастических романов шагнули в обычную жизнь. Лидары дистанционного зондирования делают порядка сто тысяч выстрелов лазерным лучом в секунду и стоят около миллиона долларов, зато, установленные на небольших самолетах или вертолетах, дают четкую трехмерную картину местности с точностью по высоте в несколько сантиметров. Благодаря узкому пучку и высокой чувствительности приемника, которые могут улавливать считанные отраженные фотоны, лучи лидаров достигают поверхности земли даже в самом густом лесу. Поэтому лидарное сканирование полюбили археологи Центральной Америки, которые могут, после обработки лидарных данных, «убрать» джунгли и обнажить «голый рельеф», на котором появляются следы древних городов майя и других исчезнувших цивилизаций.
Рис. 1. «Голый рельеф» с дорогами и руслами ручьев, полученный после обработки лидарных данных. Из архивов автора (с разрешения Greenwich Institute for Science and Technology).
Лидары революционизировали и робототехнику. В 2012 году на Хабре мы с Алексеем Аншаковым обсуждали искусственный интеллект и роботов, но разговор был довольно общий и даже глобальный. Сейчас хотелось бы поделиться личным опытом в области лидаров и домашних роботов, которые наступают, эволюционируя буквально на глазах — у кого сейчас нет пылесоса типа «румбы»?
Чтобы быть эффективным помощником, домашний робот должен иметь
а. «глаза» или сенсоры;
б. «мозг» или процессор для обработки информации с сенсоров и для управления движениями робота;
в. «ноги» — или шасси для передвижения робота;
г. «руки» — или манипуляторы для выполнения полезной работы. Для специализированных роботов вроде пылесоса, «руку» заменяет оптимизированный агрегат — например, всасывающий раструб для пылесоса.
Сенсоры делятся на три класса: пассивные (наблюдающие) — например, видеокамеры; активные (лоцирующие) — лидары, радары и сонары; контактные — как усы у таракана или бампер у «румбы». Портативные лидары в робототехнике активно вытесняют традиционные «глаза»-видеокамеры. За 20 лет участия в обработке лидарных данных, я часто втягивался в споры: что лучше для навигации роботов — лидары или стереокамеры, аналогичные бинокулярному зрению человека? В 2002 году я участвовал в таком споре с менеджером ДАРПЫ, который финансировал проекты по созданию роботов, имитирующих животных. Мы с партнером, руководителем исследовательского отдела большой компании, убеждали дарповца, что лидары — это будущее роботехники. Причем мы пророчили не наобум, а на основе оценок, которые доказывали преимущество лидаров над видеокамерами, но менеджер ДАРПЫ был биологом и с цифрами не дружил. Зато знакомые ему университетские профессора обещали сделать навигацию роботов на видеокамерах — и он им верил. Действительно, во второй половине 20 века основные усилия направлялись на компьютерную обработку данных с пассивных видеокамер, которые были дешевы и быстро улучшались. Но, несмотря на множество статей, проектов, диссертаций и грантов, прорыва там не произошло. Почему? Я могу привести для читателей Хабра оценки сравнения эффективности видеокамер и лидаров. Как ни странно, эти оценки за 20 лет практически не изменились, зато сейчас очевидно, кто из тогдашних спорщиков лучше предвидел будущее робототехники.
Глаз человека насчитывает почти сотню миллионов светочувствительных клеток. Это эквивалентно 100 мегапиксельной матрице (10000×10000 пикселов), что все еще больше, чем у лучших и дорогих фотокамер. Если робот будет получать от двух видеокамер, работающих хотя бы с частотой 10 кадров в секунду, поток информации на уровне 2 гигапикселов в секунду, то легко представить трудность обработки такого потока информации даже современными процессорами (а если привлечь облачные ресурсы, то потребуется суперинтернет для постоянного обмена данными). Часто кивают на человека (или на птиц и даже насекомых), который справляется с обработкой даже большего объема видеоданных. Но не надо забывать, что человеческий мозг, который представляет собой мощную видеообрабатывающую систему, совершенствовался и оттачивался многие миллионы лет. И все равно требуется много лет постоянного обучения, чтобы ребенок научился правильно видеть мир. Но даже взрослый водитель легко ошибается, пытаясь отличить опасную дыру в асфальте от обычного пятна мазута. Да и насекомые не очень доверяют своему зрению, дополняя его контактными усиками.
Лидары, в отличие от видеокамер, создают гораздо более компактный набор данных. Даже крупные лидары генерируют «всего» сто тысяч трехмерных координат точек отражения в секунду (если лидар дает информацию о первом и последнем отражении каждого луча, то это число надо умножить на два). Этот объем информации на 4 порядка меньше, чем объем данных со стереокамер, подобных человеческому глазу. Даже если уменьшить разрешение видеокамеры до 1000×1000 пикселов, то все равно стократная разница в объеме данных останется, а проблемы с качеством изображения вырастут. При этом видеокамера дает набор двумерных картинок, которые требуют сложного анализа по распознаванию объектов и определению расстояния до них. Достаточно ошибки хотя бы в одном из ста случаев — и такая система будет непригодна для практического использования, которое предполагает принятие сотен навигационных решений в течение короткого времени мобильности. А лидарные данные — это уже трехмерная картина. Даже без обработки она дает хорошее представление о среде.
Распространено мнение о высокой стоимости лидаров. Это верно в отношении автомобильных лидаров, которые должны работать быстро и сканировать обстановку на расстояниях в сотни метров — см. полезную статью Тимоти Ли (в переводе Вячеслава Голованова): «Как десяток ведущих компаний пытаются создать мощный и недорогой лидар» (2019). В статье отмечается, что «лидар, или световой радар, это технология, критически важная для создания робомобилей». Так что история рассудила спор двадцатилетней давности. Действительно, лидар имеет значительное преимущество не только перед видеокамерами, но и перед радарами и сонарами, у которых нет узкого пучка, и они дают более грубую картину окружающей среды.
Для домашних роботов, которые двигаются достаточно медленно и сканируют обстановку на десяток метров, лидары существенно дешевле. Такие лидары работают с помощью простого триангуляционного метода определения расстояния, когда точка отражения луча фиксируется камерой с приемной матрицей, смещенной на некоторое расстояние от выходного отверстия невидимого лазерного луча. По получившемуся треугольнику «лазер-точка отражения-приемник» определяется расстояние до объекта. На Рис. 2–4 показаны cканы помещения, полученные портативным (размером с кофейную чашку) RPLidar, который дает до 8000 выстрелов в секунду и стоит всего 99 долларов (при розничной закупке на сайте robotshop; при оптовой закупке или при собственном производстве, эту цену можно понизить еще в несколько раз). Этот лидар одиночным лучом делает двумерный скан на 360 градусов. Чтобы получить трехмерный скан, нужно добавить еще одну степень свободы. Это можно достигнуть значительным наклоном плоскости 2D сканирования и вращением ее вокруг вертикальной оси пошаговым мотором стоимостью несколько долларов. Рис. 2–4 были получены именно таким способом, хотя он не единственно возможный. Вращение на один оборот вокруг вертикальной оси двумерного сканера дает, как несложно понять, двойное покрытие окружающих поверхностей точками отражения (см. Рис. 3).
Рис 2. Вид помещения с мансардным потолком. Скан (трехмерное облако точек отражения) получен с помощью портативного лидара. Точки на разных расстояниях от лидара окрашены в разный цвет. На скане видна лестница на второй этаж, возле неё сидит в кресле испытатель, у него за спиной расположен книжный шкаф. Потолочный вентилятор отмечен цифрой 1, тень от него на потолке — 2. Из архива автора (здесь и далее — с разрешения AURobot).Рис 3. Лидарный скан. Хорошо видна мебель (диван, кресло) и лестница на второй этаж. Край ковра отмечен цифрой 1; тонкий стержень, установленный для тестов, — 2; провод от удлинителя — 3. Скан двойной (за исключением узкого сектора возле цифры 2), что соответствует одному обороту 2D сканера вокруг вертикальной оси. Из архива автора.
Для функционирования домашнего робота достаточно иметь один лидар, с желательным добавлением дешевых сонаров или каких-то других вспомогательных сенсоров близкого действия, потому что лидарам трудно ловить отражения от стекол и зеркал — см. Рис. 4.
Рис 4. Лидарный скан. На стене видна картина (отмечена цифрой 1) и плотность отражений от нее зависит от цвета и альбедо краски. Видны комнатные растения (2) и экран телевизора (3) , от которого почти нет отражений, как и от оконных стекол (4), что создает проблемы для навигации, если стеклянные поверхности достигают пола. Из архива автора.
Уже сейчас распространились роботы-пылесосы с двумерным лидаром, который надежно определяет расположение стен помещения. Но этого недостаточно, чтобы хорошо ориентироваться в сложной 3D среде жилой квартиры, уверенно передвигаться под мебелью и не упасть в проем лестницы. Робомобили и роботы, которые работают на улицах, стараются иметь более широкий спектр сенсоров — для взаимной подстраховки и распознавания таких специфических уличных элементов, как огни светофора. Пример: уличный робот-курьер Яндекса вооружен сенсорами до зубов:
Процессоры и софт для обработки данных с лидаров и сенсоров — это большая тема, которой надо посвящать отдельную статью. Отмечу, что алгоритмы обработки данных зависят от задач, которые стоят перед роботом, и от набора сенсоров, которыми он вооружен.
Кроме сенсоров, важно обсудить и «ноги» — еще одно узкое место домашних роботов. Обычные роботы на колесиках, бродя по квартире, легко застревают в проводах, носках, тапочках, а уж про лестницы и говорить не приходится. Каждый владелец «румбы» знает, что если не подготовить комнату для робота-пылесоса, в котором из сенсоров может быть один бампер, то очень скоро он запутается в шторах или наглухо залезет под какую-нибудь тумбочку. Я организовал в социальных сетях опрос сотни собственников робо-пылесосов и потенциальных покупателей таких устройств. 70 опрошенных обладали опытом владения роботами-пылесосами — как обычных, так и с двумерным лидарным сканером (роботов-пылесосов с трехмерными лидарными сканерами на рынке еще нет). Оказалось, что около 30 процентов владельцев румбо-подобных пылесосов без лидара были недовольны их работой — и отказались от их использования или купили модель с лидаром. Зато почти все владельцы робота с двумерным лидаром были удовлетворены его работой. Многие опрошенные отмечали проблемы с мобильностью робота в захламленной комнате, а также выражали желание купить робота, который мог бы ходить по лестницам или преодолевать барьеры между комнатами. Хотя на Западе большинство жилых домов имеют 2–3 этажа, роботов-пылесосов, способных передвигаться по лестницам (и пылесосить их) на мировом рынке не существует. Есть гусеничный робот, который может ездить по лестницам, но он неуклюжий, как танк, и меняет наклон своего корпуса при передвижении по лестницам. Заставить его пылесосить лестницу невозможно, для этого нужны дополнительные сложные манипуляторы. Созданы двуногие человекоподобные роботы, которые теоретически могут ходить с пылесосом по лестницам дома, но в обозримом будущем они будут стоить больше самого дома.
Это заставило меня вспомнить свою идею робота, который легко передвигается по лестницам, сохраняя удобное для работы горизонтальное положение корпуса, а уж тапочки ему вообще нипочем. Такой робот может менять высоту своих колес, располагая их, если нужно, сразу на трех уровнях. А если он ездит по обычному полу, то энергетически эффективен также как обычный колесный робот. После адаптации к случаю домашнего робота-пылесоса, получился легко реализуемый проект (Рис. 5).
Рис. 5. Проект робота, который может менять высоту своих колес и двигаться по лестницам. (Здесь и далее — с разрешения AURobot).
Вокруг этого проекта удалось собрать небольшую команду инженеров и инвесторов, с помощью которых были созданы три прототипа робота. Первый прототип робота AUR1 тащил за собой несколько проводов для питания и управления и даже не умел делать повороты, но он уже мог забираться вверх по лестнице и принес ценный опыт. Второй прототип AUR2 сканировал среду с лучшим качеством (сканы на рисунках 2–4 сделаны им), и не только поднимался, но и уверенно спускался по лестнице, а также поворачивал и держал связь с оператором по WiFi. За ним тянулся лишь один силовой провод (Рис. 6).
Рис. 6. Робот AUR2 после выполнения главного задания: уверенного подъема на лестницу и благополучного спуска с нее. Батарей нет, питание через силовой провод
Третий прототип AUR3 учитывает весь опыт предшественников, имеет собственные аккумуляторы и обладает полным функционалом робота-пылесоса (Рис. 7).
Рис. 7. Робот AUR3, снабженный аккумуляторами и оснащенный пылесосной насадкой, напечатанной на 3D принтере.
Эта разработанная и апробированная технология робота, способного двигаться по лестницам, сейчас запатентована (US патент номер 11198218) и открыта для компаний, которые захотят её реализовать в массовом масштабе. Патент включает описание, как компактного домашнего, так и более крупного робота, а также кресла для перемещения пациентов или инвалидов по лестницам. Такой робот хорошо подходит для квартир с двумя уровнями или для уличных доставок по сложной трассе с бордюрами и лестницами.
Можно уверенно предсказать, что мы стоим на пороге массового появления домашних роботов с 3D лидаром и повышенной мобильностью — никаких технических или ценовых препятствий для этого нет. Дешевые лидары и новые технологии для движения роботов обеспечат скачок на рынке домашних роботов, который уже хорошо развит робо-пылесосами первого поколения. Домашние помощники нового поколения будут умны, не будут бояться захламленных комнат (даже смогут прибирать разбросанные вещи), и будут пылесосить не только пол в самых укромных углах, но и мебель, а также выполнять другие задачи по дому — при оснащении их «руками»-манипуляторами (для роботов с «руками», как у робота Alphabet, лидары для создания трехмерной картины среды оказываются совершенно необходимыми).
Думаю, что это предсказание будет проверено уже в ближайшие годы.
Николай Горькавый, д.ф.-м.н.
