[recovery mode] ИИ от МФТИ: проектирование «глаз» для городских беспилотников

Исследователи Центра компетенций НТИ по направлению Искусственный интеллект на базе МФТИ работают над созданием автономной системы интеллектуального анализа фото- и видеоинформации для использования в беспилотниках и системах анализа обстановки в режиме реального времени. Она позволит летательным аппаратам безопасно перемещаться в городе, что, в свою очередь, может помочь развить беспилотную доставку.

c66b08a810af2487e6b3300198683bb0.jpg

Оптико-электронная система — «орган зрения», который должен опираться на качественный алгоритм обнаружения объектов. Одно из основных требований к такой системе — способность без участия оператора выделять во входном видеопотоке объекты интереса и следить за объектами автоматически. Поиск объектов на последовательности видеокадров может осуществляться либо путем обнаружения объекта в каждом кадре, либо в момент его первичного появления на видео. Эта информация обычно основана на разности кадров, в которой выделяются изменяющиеся области.

Основные трудности здесь: потери информации при проецировании трехмерной сцены на плоскость изображения; наличие шума на изображении; изменения экспозиции сцены; сложная траектория движения объекта и др.

Существуют методы обработки, позволяющие решать указанные поставленные задачи. Большинство этих методов основано на жестких алгоритмах, сложно поддающихся адаптации при изменении внешних условий. В качестве альтернативы классическому подходу сотрудниками Центра компетенций НТИ применяются нейросетевые технологии, позволяющие повышать качество обработки информации в сложных условиях, когда применение классических методов оказывается недостаточно эффективным.

Для обнаружения на изображениях при распознавании объектов, имеющих постоянство внешнего облика, например машины, деревья, здания и сооружения, для которых возможна сбор и подготовка размеченной экспертами обучающей выборки эффективно использование методов семантической сегментации. Они основаны на применении нейросетевых технологий и позволяющих выполнять выделение сложных объектов интереса на фоне для дальнейшего анализа формы этих объектов с целью их последующей классификации.

Образец сегментированного изображенияОбразец сегментированного изображения

Для автоматизированного анализа окружающей обстановки и автономного движения командой лаборатории были разработаны соответствующие алгоритмы. Алгоритм автономного движения обеспечивает систему автоматическим управлением с возможностью исключать частично или полностью участие оператора. Основной задачей алгоритма является безопасное движение автономного транспортного средства по требуемому маршруту. Для создания безопасных условий вводятся механизмы движения в условиях бездорожья, плохих погодных условий и др. Таким образом, информация о дорожной сцене достигает максимальной точности и позволяет подстраиваться под различные дорожные ситуации.

Алгоритм автономного движения определяет:

  • параметры устойчивости, управляемости и динамики движения при применении управляющих сигналов в зависимости от состояния дорожного покрытия,

  • текущие параметры движения,

  • технические параметры подсистем наземного и воздушного мониторинга.

Для автоматизированного анализа окружающей обстановки был разработан самоходный автоматизированный многофункциональный программно-аппаратный комплекс анализа окружающей обстановки на базе беспилотного автомобиля (ПАК СТЗ «Автопол»), включающий совокупность алгоритмического, радиоэлектронного и вычислительного обеспечения, интегрированного с транспортными модулями наземного или воздушного базирования различного типа.

Внешний вид разведывательно-аналитического автоматизированного комплекса «Автопол»:

image-loader.svg

Программно-аппаратный комплекс включает следующие подсистемы:

  • подсистема воздушного мониторинга — беспилотный летательный аппарат, оснащенный оптико-электронными и тепловизионными системами наблюдения;

  • подсистема наземного мониторинга — автомобиль с системой автоматического управления, оснащенный оптико-электронными, тепловизионными и радиолокационными системами наблюдения;

  • пункт командного управления обеспечивает интеграцию подсистем в единый комплекс и предназначен для сбора, анализа и визуализации воздушной и наземной обстановки.

Организация сбора и регистрации информации обеспечивается с помощью 3-канальной системы сбора и регистрации фото- и видеоинформации для беспилотных летательных аппаратов и робототехнических средств. ПАК обеспечивает следующие основные функции: обнаружение, селекция и классификация объектов по их визуальному образу в видимом, ИК и радиолокационном диапазонах; возможность одновременной работы с несколькими видеопотоками различных спектральных диапазонов; осуществление совместной работы нескольких модулей для увеличения числа каналов одновременного сопровождения целей. Особенностью данного ПАК является высокая вычислительная мощность при достаточно низком энергопотреблении.

Испытания разработанных прототипов программных модулей подсистемы наземного мониторинга, подсистемы воздушного мониторинга и пульта управления системы технического зрения запланированы на следующие полугодие.

© Habrahabr.ru