[Перевод] ADAS глазами Mobileye
Добрый день, решил написать свою первую статью и поскольку работаю по тематике ADAS то выбор пал на относительно свежее выступление главы компании Mobileye профессора Амнона Шашуа.
Собственно мой вольный пересказ с его слайдами ниже.
Бизнесу быть!
Настроения в СМИ или на улицах по поводу автономного вождения, постоянно меняются, это своего рода маятник. Четыре — пять лет назад это было так «Хорошо, это не за горами». Сейчас некоторые пессимисты говорят уже о 2050 годе. Истина не посередине, а скорее «за углом». Семь лет назад автопроизводители были очень обеспокоены тем, что однажды они проснутся, а машины никто не будет покупать, потому что все будет роботизировано. Сегодня эти опасения рассеялись. Они понимают, что в обозримом будущем люди будут продолжать покупать автомобили и это не ставит под угрозу их бизнес. Бизнес роботакси по перевозке людей имеет солидный потенциал, но он открыл новое направление, который мы называем потребительским AV. Это покупка автомобиля с разным уровнем ADAS с широким спектром использования, начиная с автомагистралей, затем перекрестки и съезды с шоссе, движение за городом, затем города. Для описания возможностей интеллектуальных систем используется формулировка ODD (Operational Design Domain) — домен операционного дизайна.
Маятник настроения
Роботакси или потребительский AV
Существует два вида экономических ландшафтов — читай рынков. Один — это ландшафт роботакси, другой — потребительский AV, и они очень разные по своей природе. Для роботакси, большая разница в том, что мы говорим о полном ODD, потому что вы едете из точки А в точку Б и вам нужно охватить все возможные сценарии (порой самые сложные) включая шоссе, пригород, центр города и прочее. Таким образом, это полный ODD, но ограниченный географически — территориально. Услуги представляются локально, например в Сан-Франциско, Аризоне и т.д. Выбирается город и оказывается услуга.
С другой стороны, в потребительском AV ODD может быть ограничена. Например, ODD только для автомагистралей. Автомагистрали со скоростью до 130 километров в час, автомагистрали включающие сьезды/заезды и т.п. Сюда можно добавить съезды, повороты, только перекрестки со светофорами и так далее. Так, можно начать добавлять все больше и больше ODD (читай функциональности). Но особенность в том, что такой автомобиль должен ездить везде. Невозможно сказать, что он будет ездить только по дорогам Сан-Франциско. Он должен ездить везде. Так что это совсем другая проблема, которую нужно решать с точки зрения масштабируемости.
Различия в подходах к функционированию потребительского AV и роботакси
Проблема создания роботакси, заключается не в технологии. В создании роботакси нет никакой научной или технологической неопределенности. Скорее вопрос мастерства и построения здорового бизнеса. Как построить бизнес, который как и любой другой бизнес, должен приносить прибыль, а не убытки. Это действительно большая проблема для роботакси сегодня, сделать его рентабельным.
Проблема потребительских AV заключается в том, чтобы создавать ODD, которые будут полезны. К сожалению сейчас создаваемые ODD, не так уж полезны (со слов профессора). Нужно последовательно переходить от одного ODD к другому, которые бы не мешали друг другу, а дополняли. Проблема создать бизнес, который будет действительно плавным, инкрементным и модульным.
Из роботакси в потребительский AV и обратно
Переход от роботакси к AV и обратно возможен, но роботакси должно ездить везде. Это означает, что когда ваше роботакси будет подтверждено и разрешено к эксплуатации, оно должно ездить по всем городам США, по всем дорогам США, тогда, конечно, можно снизить его стоимость до более низкой, скажем, до конкретного ODD автомобиля потребителя. Но если вы ездите на машине только в Сан-Франциско, вы не можете трансформировать это в потребительский AV, который ездит везде, потому что условия сильно отличаются. С другой стороны, модернизация потребительского AV, переход от ODD к более новым версиям ODD это то, что вполне осуществимо, потому что каждый ODD ездит везде.
Если у вас есть что-то, что работает повсеместно, то добавление дополнительных функций можно сделать постепенным. И это подход компании Mobileye.
Классификация уровней автономности глазами потребителя
Уровни автономности ADAS о которых сегодня идет речь — это уровень два, уровень три, уровень четыре. Эта таксономия хороша и используется инженерами. Поэтому компанией создан свой собственный язык, основанный на потребительских запросах, на основе событий состояния: глаз и рук и их комбинаций и разумеется наличие водителя. Формируется полная группа событий: глаза на дороге (открыты), глаза не на дороге (закрыты), руки на руле, руки не на руле, есть водитель, нет водителя. Они представлены ниже на слайде.
В системе «глаза на дороге, руки на руле» вождение по сути осуществляет водитель, в системе «глаза на дороге, руки убраны» водитель фактически выступает в роли контролера машины, в системе «глаза закрыты» или глаза «не на дороге», руки не важно где) водитель может заниматься своими делами. Последний вариант — отсутствие водителя. Когда нет водителя, нужен дополнительный механизм — телеоперация. Кто-то в бэк-офисе должен иметь возможность общаться и давать указания автомобилю на случай, если произойдет что-то непредвиденное, не с точки зрения безопасности, но что-то случилось, скажем к машине подойдет сотрудник службы спасения, полицейский, захочет с кем-то поговорить, и для этого есть телеоператор.
Руководящие принципы продукто ориентированной классификации
Вводиться также понятие маневр минимального риска, остановка в безопасном месте для передачи управления. В первом и втором случае все делает водитель, в третьем случае он необходим для передачи управления, на обочине, например после движения по шоссе перед съездом, если используется ODD начальных уровней.
Система «глаза на дороге», «руки на руле» — это обычная система помощи при вождении, например ACC, система контроля полосы движения.
Переход к системе «Глаза не на дороге»
Каждая открываемая возможность несет определенную ценность и значимость для потребителя. Однако ценностные предложения системы «Глаза на дороге, руки убраны» и системы «глаза не на дороге», это разные ценностные предложения. Если говорить о первой системе, то это взаимодействие между человеком и машиной. Как в авиации, у вас есть пилот, большую часть времени пилот контролирует работу автопилота самолета, то же самое происходит и с автомобилем. Если у вас есть хорошая система мониторинга вождения, с камерой, следящей за водителем, то вы можете создать очень хорошее взаимодействие между человеком и машиной, в котором человек контролирует автомобиль. И режимы отказов такой системы будут совсем другими. Потому что машина будет давать сбои в неожиданных случаях, вроде «черного лебедя», а человек будет терпеть неудачу в обыденных ситуациях, чистая дорога, небо голубое, полосы нарисованы, все очень обыденно и человек теряет внимание, засыпает например. Именно в этот момент машина очень бдительна. Таким образом, взаимодействие человека и машины создает более высокий уровень безопасности.
Подробнее об управлении «без глаз»
Ценность «без глаз» заключается в том чтобы выкупить время. Это совершенно другое ценностное предложение. Сегодня мы очень заняты, дороги очень перегружены, мы хотим добраться из точки А в точку Б, при этом 90% времени находится в пределах ODD выключенных глаз, мы включаем их и читаем книгу. Таким образом, выкупается время. Конечно, это совсем другое ценностное предложение, оно безусловно повышает безопасность, потому что система обладает более высоким уровнем безопасности, чем человеческий уровень. Но на самом деле это другое ценностное предложение, вы платите за это деньги, потому что вы возвращаете свое время, машина освобождает вас от необходимости ее контролировать и вы можете заниматься своим делом.
Варианты ODD в режиме «без глаз»
Примеры ODD. Движение по шоссе только со скоростью менее 60 километров в час. То есть автомобиль не меняет полосу движения, не едет со скоростью выше 60 километров в час по шоссе, это базовый ODD. Многие производители автомобилей внедрят этот вид ODD в ближайшие несколько лет. Второй ODD — то же самое, но до 130 километров в час. Звучит более полезно.Следующий ODD — это машина может выезжать на трассу и съезжать с нее автономно, то есть вы вводите адрес, а чтобы добраться до него, вам нужно проехать по пяти разным шоссе. Система сделает это автономно. Следующий ODD — перекрестки дорог со светофорами. Следующая — сельская местность.
Переломным моментом является ODD2 скорость движения по автомагистралям до 130 километров в час. Все что ниже этого, это не очень полезно. А полезность определяется так: как только вы активируете систему «Eyes Off», мы хотим, чтобы она работала непрерывно. Пока вы не деактивируете и не доберетесь до цели. Например, в ODD1 с 60 километрами в час на трассе вам нужно будет постоянно переключаться на ручное управление и обратно. Не имея возможности автоматического проезда рамп, вам нужно проехать пять шоссе, и постоянно быть начеку, с какого шоссе нужно съехать, потому что система не сделает этого сама. Так что действительно полезная переломная точка начинается с ODD3.
Важные свойства режима «без глаз»
Безусловно свойствами хорошего решения «глаза не на дороге» являются:
Полезность. Второе — «отсутствие воспроизводимых ошибок». При этом нельзя прикрываться статистикой, сколько миль вы набрали, какова частота вмешательств и так далее. Если есть ошибка, которую вы можете воспроизвести и произойдет несчастный случай, вы пойдете в суд и проиграете. Не должно быть систематических ошибок. Пример, допустим, есть ODD1, до 60 километров в час, в полосе, без перестроения, без ее смены. Инженер, который проектировал этот ODD, решил что торможение будет всегда, поскольку скорость низкая и времени для торможения достаточно. Однако, если перед вами грузовик, а у него упадет ящик и будет двигаться в вашу сторону, единственный способ избежать этого — совершить экстренный маневр и сменить полосу движения. Но это за пределами ODD1 о которых знает клиент. Так что это воспроизводимая ошибка. Поэтому если произойдет авария, пострадавший заявит: «Я, как человек, смог бы избежать этой аварии». А то, что система не избежала этой аварии, — это недостаток в конструкции системы. Это воспроизводимая ошибка. Поэтому система «глаза не на дороге» не должна иметь воспроизводимых ошибок. Если вы меняете полосу движения при экстренном маневре, вам нужны датчики высокого разрешения, которые видят вокруг вас. Этого не нужно, если вы хотите просто оставаться в полосе.
Третье — это расширяемость ODD. Создавая ODD1 должна учитываться его возможность к расширению. Иначе при переходе к ODD 2, придется все переделывать. Должен быть создан путь, который будет нарастающим и модульным. Все инвестиции, которые вкладываются в проверку ODDi должны быть действительны и для перехода к ODDi+1. Тогда это будут инкрементные инвестиции.
Например обычно системы проектируются следующим образом, например помощник при движении в пробке, скорость ниже 60 километров в час. Количество датчиков ограничено, потому что полоса движения не меняется. Ограниченное программное обеспечение для обработки датчиков, потому что среда относительно проста. Нет пешеходов перебегающих дорогу, и тому подобных вещей, нет колец и прочее. С точки зрения машинного восприятия решается гораздо более простая задача, чем автомобиль, ориентирующийся в городской среде. Не используются высокоточные карты. Инвестиции здесь ограничены. При переходе к более высокому ODD, скажем к шоссе, пилотируемому шоссе, 130 километров в час, переходящему с развязки на развязку датчики становятся другими. Внезапно вам нужно сделать больше. Это не только больше вычислений, но и больше понимания окружающей среды. Теперь вдруг требуются карты высокой четкости. Ваша политика вождения, принятие решений по управлению автомобилем становятся намного сложнее. Так что все инвестиции в ODD1, вам не очень-то помогут. Вы начинаете все сначала и создается «холостой выстрел» (в оригинале «moonshot»). По мере усложнения системы количество выстрелов увеличивается.
Два подхода к проектированию систем
Поэтому в Mobileye все поместили в первую колонку — SuperVision. Это 11 камер вокруг автомобиля, работающих с двумя чипами EyeQ5, а в 2025 году это будут два чипа EyeQ6. Это полноценный ODD, он ездит везде, в городе, на магистралях, шоссе. У него есть политика вождения для поддержки этого полного ODD. Используются камеры высокого разрешения восьмимегапиксельные камеры. Таким образом, с точки зрения сенсоров, есть достаточное разрешение, чтобы понять сцену с высокой детализацией. Есть вычисления для построения модели окружающей среды. Есть политика вождения для обеспечения полного ODD и карты высокой четкости, масштабируемые для повсеместного вождения. Теперь для системы «глаза не на дороге», вам просто нужно добавить избыточность. Поэтому добавляются активные датчики, не требуется обновлять карту, потому что она уже создана. Не нужно обновлять политику вождения, потому что ваша политика вождения уже полностью соответствует ODD. Все, что вам нужно — это добавить активный датчик для избыточности, при этом количество датчиков и их размещение зависит от ODD. И нужно добавить больше вычислений. Вот почему первая левая колонка, восприятие (Super Vision), очень важна. Это очень важно, потому что это мост, вы вложили деньги в эту колонну, и теперь переход к разным уровням ODD, становится дополнительным вложением
Линейка продуктов mobileye
Слева это базовая и улучшенная система помощи при вождении. Это камера на передней панели. Она может быть подключена к облаку для получения карт высокой четкости, карт, созданных на основе краудсорсинга. Об этом будет чуть позже. Подключение к этим картам создает обновление ADAS, базового опыта ADAS. И уже около 19 моделей автомобилей используют эти карты.
Третий столбец — это наблюдение, при этом по оси Y полный ODD. У него есть разрешение для полного сквозного вождения без рук в полном ODD, но у него нет среднего времени между отказами, чтобы разрешить вождение без глаз. Это означает, что могут возникнуть всевозможные «черные лебеди», которые потребуют от водителя взять управление на себя. Вот почему это система «глаза на дороге». Вторая колонка — это понижение уровня контроля, то, что мы называем легким контролем, те же возможности с меньшим количеством датчиков и меньшим количеством вычислений, только для автомагистралей. Но она не может быть модернизирована до артериальных и городских дорог.
Затем, после четвертой колонки и выше, идут системы «глаза закрыты». Первая рампа на шоссе. Это первый полезный ODD в понимании компании. Затем идут остальные. Внизу показаны дополнительные датчики используемые для работы системы.
Картографирование на основе краудсорсинга
Несколько слов о REM (Road Experience Management — Управление дорожным опытом). Об этом говорится почти каждый год: идея краудсорсинга каждого автомобиля с ADAS, фронтальной камерой с EyeQ-чипом для ADAS. Система распознавания способна извлекать из сцены определенные данные, примерно 10 килобайт на километр, отправлять их в облако, а в облаке все сшивается вместе и создается карта высокой четкости.
Базовая идея формирования карты опыта и ориентиров
Мы не отправляем изображения в облако. Это ориентиры. Таким образом, в облако отправляется очень, очень скудные данные, из тысяч автомобилей, отправляющих эти очень, очень скудные данные, строится карта высокого разрешения. Разреженность данных очень важна, потому что стоимость отправки данных должна быть очень и очень низкой. Стоимость отправки данных оценивается. Скажем если вы проезжаете 20 000 миль в год, это будет стоить около полдоллара. Таким образом, создается масштаб. Если бы мы отправляли изображения, стоимость была бы гораздо выше. Это помешало бы масштабированию.
На данный момент мы проехали 12 миллиардов миль, 8,6 — в 2022 году. Каждый день мы получаем 28 миллионов миль данных. И вы можете видеть, как информация растет со временем. Миллионы автомобилей уже отправляют данные.
У нас есть клиентская база, партнер REM, 17 брендов, которые используют эту карту для модернизации ADAS и также отправляют нам данные. Вот просто чтобы получить представление о том, как быстро происходит краудсорсинг, то, здесь мы говорим о Европе.
Начальное состояние
Через 10 месяцев
Оценка качества системы
Как проверить качество системы «глаза закрыты». Основная проблема — создать систему искусственного интеллекта, которая не будет иметь воспроизводимых ошибок. Как гарантировать уровень точности с этими девятка после запятой. Требование составляет 10 в степени 7 часов. Среднее время наработки на отказ. Вы должны доказать, что автомобиль проедет 10 миллионов миль без аварий. Это примерно в 10 раз лучше, чем у водителей-людей. С этим согласны все производители. Допустим, мы говорим о шоссе. В среднем вы едете по шоссе со скоростью 40 миль в час, это значит что вы должны проехать 400 миллионов миль. Это огромное число. Как построить систему, чтобы, команда инженеров, были уверены, что она достигнет этой цели? Следующая проблема — как доказать. Используется три уровня. Первые два слоя — создание, последний — доказательство.
Три этапа доказательства надежности системы
Избыточность датчиков: сетап из камер и радарный сетап
Первый слой это избыточность. Строится система на основе полной избыточности. Наблюдение — это только камеры, наблюдение может обеспечить полное автономное вождение, но для этого нужно, чтобы за машиной следили, потому что недостаточно говорить, что я лучше, чем человек-водитель. Поэтому используется подсистема только из камер и подсистема только из активных датчиков, каждая из них, формирует окружение, отдельное от другого. Речь идет о разных модальностях, это выглядит как статистическая независимость. Если это статистически независимо, можно взять произведение вероятностей. Собирается 10 000 часов вождения реальных данных, чтобы проверить подсистему только для камер, а затем собирается 1 000 часов реальных данных для проверки системы с радаром. Это так же как и в авиации, используются избыточные системы, и никто не доказывает и не утверждает, что эти избыточные системы статистически независимы. Просто создается все больше и больше избыточных систем, это не методология доказательства, это методология создания. С точки зрения надежности это имеет большой смысл.
Этапы симуляции окружения
Второй этап это симулятор. Создается фотореалистичная симуляция. В Mobileye, это действительно уникально, берется картографический ресурс REM, в котором отображается весь мир, и на основе REM, формируется трехмерный мир. На вход симулятора подается карта REM, а на выходе формируется «галлюцинация» трехмерного мира, где создаются участники дорожного движения. Этот трехмерный мир основан на реальных дорогах, поскольку используется реальная карта мира, со всеми деталями которые мы распознали на дороге включая светофоры, зоны пешеходных переходов и т.п. Далее создаются текстуры, а это уже представленный трехмерный мир, основанный на реальных дорогах. А затем добавляются участники дорожного движения и создаются полностью фотореалистичные сцены. Мы можем галлюцинировать всю планету на основе реальных дорог. То есть мы не галлюцинируем дороги, это настоящие дороги, но мы галлюцинируем все остальное, здания и так далее. И здесь мы можем делать две вещи. Во-первых, работать с крайними случаями, работать с «черными лебедями», создавать всевозможные сценарии, чтобы убедиться, что у нас нет систематической ошибки. Во-вторых, можно запустить своего рода проверку 10 в степени семь. Это само по себе опять же не будет иметь силы в суде, потому что если произойдет несчастный случай, суд скажет нам: это симуляция, это не реальный мир. Но с точки зрения строительства это очень хороший шаг к созданию системы, в которой мы, проектировщики, инженеры, создающие систему, уверены, что если взять истинное резервирование и симуляцию, то система соответствует проекту 10 в степени 7. Теперь наступает последний этап проверки.
Теневой режим
Теневой режим. Итак, есть система с датчиками и вычислительными устройствами, со встроенным резервированием и симуляцией. Вы запускаете ее, но в течение определенного времени наблюдаете за ней. Каков этот период времени? Скажем, запуск 100 000 автомобилей. 100 000 автомобилей для бренда — это очень, очень разумно. Допустим, вы водите машину четыре часа в неделю с включенной функцией hands-off. Таким образом, через шесть месяцев вы получаете 10 в степени 7 часов. Таким образом, через шесть месяцев вы сможете доказать, достигли ли вы цели 10 в степени 7 или нет. Так что это этап доказательства. Очень, очень важный момент: этот теневой режим — не для проверки, не для обновления. Дело не в том, что я хочу собирать события и улучшать свою систему. Ни один производитель оборудования не согласится на это. Почему ни один OEM-производитель не согласится на это? Потому что тогда не будет предела, когда вы прекратите разработку. И мы знаем некоторых автопроизводителей, которые, знаете ли, года за годами, и нет никаких сведений о том, когда система достигнет цели, чтобы глаза были выключены, верно? Поэтому автопроизводителю необходимо знать, что цель достижима, прежде чем запускать теневой режим. Так что теневой режим нужен только для проверки. Он не предназначен для разработки. Это не то, что вы говорите: «Хорошо, теперь я собираюсь получить кейсы, улучшить свою систему, сделать обновление и снова ждать шесть месяцев, чтобы собрать данные». Потому такого не будет Нельзя давать обещания своим клиентам и не выполнять их. Большинство автопроизводителей на это не способны. Так что это действительно только для проверки, а не для разработки. Итак, это три этапа, два этапа создания, один этап проверки.
