В «Сколтехе» разработали систему управления роем дронов при помощи виртуального лука
Учёные «Сколтеха» разработали эффективный метод развёртывания роя спасательных и исследовательских дронов, сообщили Хабру в пресс-службе университета. Используя шлем виртуальной реальности и тактильный интерфейс, оператор имитирует серию выстрелов из лука, направляя каждый дрон в заданную точку. Для предотвращения столкновений дронов используется глубокое обучение с подкреплением. Результаты исследования были представлены на XXI Международном симпозиуме IEEE по смешанной и дополненной реальности. Это первый российский проект, выбранный для участия в этом престижном мероприятии.
«Сегодня существует не так много интерфейсов для развёртывания роя дронов. Управлять одним дроном удобно при помощи джойстика, а для управления целым роем требуется либо несколько операторов, либо очень сложное программное обеспечение, позволяющее автоматически учитывать множество разных данных. Мы предлагаем альтернативное решение этой задачи», — рассказала первый автор исследования, выпускница магистратуры Сколтеха Екатерина Доржиева.
Группа исследователей из Центра системного проектирования предложила использовать для решения задачи тактильный интерфейс, придуманный аспирантом «Сколтеха» Мигелем Альтамирано. Эту систему вдохновил, в свою очередь, более ранний интерфейс LinkTouch, созданный Тетерюковым в Японии.
Оператор роя дронов использует VR-шлем, перчатки с маркерами и тактильный дисплей. Вокруг «лучника» располагается система захвата движения в составе нескольких IR-камер — они регистрируют положение перчаток и дронов. Благодаря тактильному дисплею оператор чувствует, как при изменении расстояния между перчатками меняется натяжение виртуальной тетивы, и использует эту обратную связь, чтобы задать расстояние до точки, где должен оказаться дрон. При этом VR-шлем в режиме реального времени визуализирует баллистическую траекторию дрона. Когда оператор разжимает кулак, это действие регистрирует камера, и дрон направляется по заданной траектории.
Как только дрон достигает цели, он переводится на традиционный способ управления и переходит к выполнению своей миссии. Это может быть спасательная операция, обнаружение лесных пожаров, мониторинг состояния природных ресурсов, загрязнения окружающей среды, определение индекса роста (NDVI) сельскохозяйственных культур, геологоразведка, осмотр или техническое обслуживание объектов инфраструктуры.
«Преимущество использования баллистической траектории по образцу полёта стрелы заключается в том, что для человека такая траектория представляется вполне естественной, что позволяет быстро развернуть группировку дронов, не допуская их столкновения с препятствиями. Для человека это вполне естественная задача. Задавать координаты полёта дронов можно и с помощью программного обеспечения, но тогда дронам пришлось бы самостоятельно выстраивать траекторию для обхода препятствий, а это значит, что на каждый дрон нужно устанавливать камеру», — отметила Доржиева.
Благодаря использованию в новом методе глубокого обучения с подкреплением дроны способны предвидеть столкновения с другими дронами и соответствующим образом перестраивать свою траекторию. Использование виртуальной реальности подразумевает, что оператору вовсе не обязательно находиться в непосредственной близости от места развёртывания роя. Любые суровые условия, к которым можно приспособить дронов — холод, пожары, радиоактивное заражение, труднодоступная местность — не касаются оператора. Если в них может работать дрон, дальше VR-шлем позволит имитировать присутствие оператора непосредственно на месте действия и выводить дроны в заданную точку.
Кроме того, виртуальная реальность в сочетании со стрельбой из лука открывает перспективы для применения разработки в индустрии развлечений и видеоигр.
