«Хозяин, напиши для нас приложение». Требуется разработчик софта и железа для дронов DJI

5ab51b593c8d44a68b9140e109d52b7e.jpg
Китайцы начали «пылесосить» сначала Китай, а теперь и весь мир, чтобы найти гениальных разработчиков приложений для своих дронов.

В 2014, сразу после того как DJI (китайский Google в области дроностроения) представили пакет средств для разработки (SDK), прошла первая олимпиада по разработке софта для дронов. Победители получили 100 000 юаней (около 900 000 руб). О первых трех местах — под катом.

В 2015 стартовала вторая олимпиада для программистов уже со всего мира. Итоги ее мы узнаем в конце лета.

Есть несколько проектов, которые, используя SDK от DJI, выпустили очень востребованные и коммерчески успешные программы для дронов.

0be45dfb49704efe8ab95b8971e82339.jpg Если вы владелец виноградников, или вам нужно увеличить радиус полета, чтобы нормально перелететь через границу пролив, если вам нужно посчитать людей и оценить размер толпы, управлять целым флотом муталисков дронов, отслеживать аварии на дорогах или нелегально припаркованные автомобили. Для вас уже постарались дрон-программисты.

А может быть вы хотите сделать 3d-скан горы Маттерхорн (4478 м)?

Всех желающих написать софт для страж-птицы, добро пожаловать под кат. Иначе это сделают китайцы.

SDK

Дроны нашпигованы всевозможными фичами: видеокамерами, сонарами, GPS, дальномерами, умными батарейками, подвесами, телеметрией, передатчиками и пр.

cdfcc8f396554499bf77a46986ac4dac.jpg
Поддержка фич под разные модели

SDK поддерживает как IOS, так и Android
32d946a7b2174ad79447a28e1e99a9da.jpg

Github
566fd309ca014898948de7bda263e281.jpg

Потенциальные ниши для дронов и разработки приложений


b7128b086e6b496cb889419312a1f741.jpg
Сельское хозяйство и фермерство, контроль инфраструктуры, самостоятельная навигация в условиях отсутствия GPS, наблюдение и картирование, создание кино, наблюдение за дикой природой, спасение и поиск.

Первая олимпиада 2014


Было заявлено 100 команд, 7 вышли в финал.
be4cac91e488490dbb1c351f4d27cf07.jpg

Были отобраны три победителя из семи финалистов:

Первое место: Команда BetterW из South China University of Technology (SCUT)

Второе место: Команда White из Shanghai Normal University (SNU)

Третье место: Команда FlatCat из Fudan University

Первое место
image
Чемпионы получили 100 000 юаней кэшэм. Им предложили стажировку и будущее трудоустройство в DJI.

BetterW заслужили первое место, разработав приложение, которое может помочь с пробками на дорогах, возникших из-за аварий. Через мессенджер WeChat поступает наводка на вероятное место происшествия и тут же туда отправляется дрон DJI Phantom 2 Vision+, чтобы зафотать обстановку. В будущем подобные приложения пригодятся полиции медикам и спасателям.

Второе место
Команда, занявшая второе место, White of SNU, впечатлила судей тем, что разработала хардварное устройство и «говорящее мобильное приложение», позволяющее пользователю делать аэрофото- и видеосъемку. Теперь пилот может сфокусироваться на управлении полетом и при этом фотать намного проще. Команда провела полевые испытания и максимизировала зону приема и силу сигнала, создав механизм сопровождения летательное устройство.

image

Третье место
В целях обеспечения безопасности на митингах и больших сборищах людей, занявшая третье место команда FlatCat, написала мобильное приложение, которое позволяет дронам фотографировать и по фотографии вычислять количество людей на заданной территории. Данные могут передаваться в центр по наблюдению за потоком людей и отслеживанию перемещения отдельного индивида.

image

Помимо наград за первые три места, была еще номинация Creative App Awards за выдающиеся результаты.

«TIANXING ZHE» — создали мобильное приложение, которое использует акселерометр смартфона, чтобы управлять полетом

«FEIJIZHIMENG» — используя расширитель диапазона Wi-Fi (Wi-Fi range extender), написали программу разделяющую управление на 2 монитора («пульта»), один для управления полетом, второй для управления камерой.

«XINGKONG ZHE» — представили программу для аэроселфи, которая делает 360 градусный изображения пилота и с функцией отслеживания лиц впридачу.

Team For the Dream (FTD) представили приложение, которое делает полет дрона более безопасным, используя алгоритм уклонения от препятствий.

(Не прошло и полгода, как DJI внедрила эти «наброски» в свои основные продукты)

Вторая олимпиада 2015


dabf4905167d4a22ac684d07d80fb642.jpg
Под лозунгом «Изменяя жизни и мир» («Changing Lives & The World»), соревнование открыто для студентов и независимых программистов отовсюду. Участники помогут «показать миру безграничный потенциал технологии маленьких дронов».
Команда должна зарегистрироваться и отправить короткое описание проекта. DJI оценит, какие команды приняты к участию и кому давать технические консультации. Жюри будет состоять из экспертов индустрии беспилотников, техников, опытных предпринимателей, они-то и выберут победителей.

На момент написания статьи, если верить графику, команды отчаянно допиливают свой проект, чтобы в середине августа презентовать его жюри.

Обзор успешных приложений для дронов

Pixiepath


Приложение позволяет управлять целым флотом дронов. Возможная область применения — поисковые работы заблудившихся туристов.
image

Интервью с лидером проекта

Кстати, им нужны бетатестеры

image
Карта, созданная роем «фантиков», одновременно летящих над городом.

Статья в Forbes

Field of View


Компания основанная в 2010 году, предоставляет «софтовые» и «железячные» решения в области картографии для сельского хозяйства
image
Софт — следит за здоровьем растительности

46187e9255c94bf6ac55318c350503f2.jpg
Железо — мультиспектральные и обычные камеры, специально заточенные под сельскохозяйственные нужды

skyward.io


Эти товарищи основательно смотрят в будущее, которое кишит дронами и уже занимаются разработкой трасс и «ПДД» для дронов.
image
skyward.io/software

Доступ в реальном времени к различной информации — погоде, «пробках» и пр. Полная аналогия с авиацией только для дронов.

BrightSky Labs


image
«Инстаграмчик» для фантика. Позволяет запостить в один клик в соцсети фото и видео с дрона, наложив фильтры и музыку.

все фичи
KEY FEATURES
•Choose what to share in seconds — even from really long videos — thanks to automatically spotlighted best parts
•Select from stunning filters researched by Hollywood colorists and suggested for your location
•Add your own watermark or title card using your own art or select one from top designers
•Add your favorite music or your own voice to your video
•Edit and share videos from your Dropbox with seamless importing
•Speed your video up to 500% or slowwww it down to 20%
•Share seamlessly right from the app to Facebook, Instagram, Tumblr, YouTube, WhatsApp, Vine, Path, WeChat, Messages or Mail
•Adjust edits instantly to time constraints of social network where you want to share
•Choose whether to share awesome high-resolution or faster standard-quality video
•Save your edits directly to your iPhone’s or iPad’s Camera Roll
•Connect your iPhone or iPad to your GoPro«s WiFi & your DJI Phantom 2 Vision’s WiFi with helpful step-by-step tips
•Watch live preview of what your camera sees so you can take the video you want
•Start & stop live recording from GoPro & native DJI Phantom 2 Vision camera
•Control DJI Phantom 2 Vision camera in real time
•Change GoPro camera recording settings
•Record in slo-mo mode with convenient shortcut
•Switch inputs from live to library with just a swipe
•Play and edit videos from the microSD card of your GoPro or DJI Phantom 2 Vision
•Browse and delete files on your GoPro«s microSD card
•Browse files on your DJI Phantom 2 Vision«s microSD card
•Invite friends to grab videos from your GoPro to share their own favorite parts
•Enjoy the same easy & powerful features for your iPhone or iPad
•Edit timelapse and slo-mo videos shot with your iPhone or iPad
•Looks epic on iPhone 6 and iPhone 6 Plus — also great on iPhone 5s, 5c, 5, 4s & iPad
•Works great with all GoPro HERO 4, 3+, and 3 cameras
•Works great with the native cameras of the DJI Phantom 2 Vision and Vision Plus

Автопилот для Фантома


image
Дрон+смартфон=автопилот и много режимов полета, включая «следуй за мной».

Незаконная парковка


image

2 июня DJI и Intel объединили усилия и создали «городское решение» для контроля за парковками.

С Intel`овскими процессорами, дроны могут определять позицию и ориентацию автомобилей и понимать насколько легально они припаркованы.

DroneDeploy


image

Проект для владельцев виноградников. Можно создавать карты в 1 клик. Картирование в автоматическом режиме.

Создание карт для добывающей промышленности
b0b1db0852054148af293228aa52a24f.jpg
Покликать можно тут

Создание карт для строительства с разрешением 2 см/пиксель
»839580983b384569b93a00ba7ea76960.jpg
Демо

Сельское хозяйство — дроны помогут найти то, что незаметно невооруженным глазом — вредителей, сорняки, заболевания на ранней стадии.
image

Pix4D


image
Сервис для создания 3d-моделей на основе фотографий, сделанных дронами.
Видеоканал с записями обучающих вебинаров и отчетов по проектам

Механизм создания 3d-моделей
Информация о каждой фотографии записывается в EXIF-файл: с какой высоты она была снята, на какой угол повёрнута камера, какие данные долготы и широты. Программа использует технологии машинного зрения и фотограмметрии для нахождения общих точек на многих фотографиях. Учитывая гео-данные и угол поворота камеры, каждому пикселю ищется цветовое соответствие на других фотографиях.

image

Соответствие фотографий

Каждое соответствие становится ключевой точкой. Если ключевая точка найдена на трёх фотографиях и более, программа строит эту точку в пространстве. Чем больше ключевых точек, тем легче определить координаты точки в пространстве. Отсюда следует главное правило — поддерживать большое пересечение между фотографиями. Разработчики программы рекомендует пересечение от 60 до 80%.

Пространственные координаты каждой точки вычисляются методом триангуляции: от каждой точки съёмки к выбранной точке автоматически проводится линия зрения (line of sight или ray), и их пересечение даёт искомое значение.

image
Алгоритмы, применяемые в фотограмметрии, имеют целью минимизировать сумму квадратов множества ошибок, решаемую обычно с помощью алгоритма Левенберга-Марквардта (или метода связок), основанного на решении нелинейных уравнений методом наименьших квадратов.

Совокупность всех 3d-точек называется облаком точек. В процессе обработки фотографий создаётся расширенное облако точек, которое используется для генерирования поверхности, составленной из треугольников (полигонов, мешей). Последний шаг — вычислить разрешение (размер пикселя) и какие пиксели на фотографии соответствуют какому мешу. Для этого 3d-модель развёртывается в 2d-плоскость и затем 3d-положение точки ставится в соответствие оригинальной фотографии для задания цвета.

Как превратить ваш дрон в измерительный прибор

Рио
image
За 19 десятиминутных вылетов было отснято 3584 фотографии, из которых 2090 были использованы для создании модели. Из-за сильного ветра, капризных погодных условий, непостоянного света и ограниченных часов для посещения, съёмочный процесс занял приблизительно 8 часов, растянутых на 7 дней. Разные частей модели были вручную объединены с помощью 82 контрольных точек и нескольких замеров длины для верного масштаба. Финальная версия содержит 2.5 миллиона мешей и 134.4 миллиона точек в разрешении 16384×16384 пикселей.
4e50bb5ba5c74ff399f68c905d53f53c.jpg

3д-модель можно повертеть тут.

Посмотреть видео, как создавался проект

Река и наводнение
1593b46e6e664e72ad7ec7e5b983b118.jpg
за час съёмок и 14 часов обработки смогла получить 3d модель затопленной территории общей площадью 360 Га и протяжённостью 15 км. Точность модели составила 4.12 cм/пиксель, объединены 1992 фотографии. У проекта было две цели: установить максимальный уровень повышения воды в реке во время потопа и отслеживать динамику в долгосрочном периоде, а также выявить участки с упавшими деревьями и найти те, что повлияли на береговую проходимость или образовали запруды.

Гора
4b7983a14b5f46f6b5e9910238f3df79.jpg
За 11 вылетов на планере, составивших в сумме 5ч 40 минут полётного времени, команда pix4d сделала 2188 фотографий чтобы создать из них 3d модель самой известной горы в Швейцарии. Общая площадь покрытия составила 28 кв. км, длина пути 263.6 км, а максимальная высота — 4707 м. Модель содержит 300 млн. точек с разрешением 20 см/пиксел.

Замок
29d2625820d34d7399c1d812d44e91e0.jpg
Целью проекта было создать очень точную модель Шильонского замка в Швейцарии — сложного архитектурного сооружения, включающего в себя внутренний двор и 18 комнат. Для получения фотографий внешних и внутренних частей замка были использованы Phantom 2 Vision, GoPro Hero 3+, Canon 6D и Sony alpha 7r.

de6b29ce62d1462bb6203f19f6880c93.jpg
За полдня команда проекта сделала 6200 фотографий. Для точной реконструкции фасадов были использованы несколько типов съёмок: вертикально вниз, съёмка с наклоном камеры и наземные фотографии —, а затем 19 отдельных сетов фотографий были обработаны в программе pix4d, объединены и преобразованы в карту высот, состоящую из 95 миллионов точек с результирующим разрешением от 5 мм до 20 см.

3д-модель можно повертеть тут.

Отчет о проекте (PDF)

Видеоотчет о проекте

Для (московских) разработчиков


Разработчики уже нужны в огромных количествах. Тем, кто решил заняться программированием хеннелор дронов, могу посоветовать обратиться в компанию-мастерскую CopterTime.ru (писать на почту dir (coбaka)coptertime.ru). У них, кстати, большой опыт в дроновождении и они могут подкинуть много идей, что сейчас очень актуально для реализации.
Если не терпится протестировать свой софт для дронов, CopterTime готов предоставить для теста (на территории мастерской по предварительной договоренности) супернавороченную платформу DJI Matrice 100 и вот эти модели (таблица со списками фич, которые поддерживаются в SDK):

a98e2baf1e874a81abd7910854c3341a.jpg
Phantom 2 Vision+
d7becb695e26425aafd8bc48366db256.jpg
Inspire 1
e963c7e2ec524841b448e7cfad8db18a.jpg
Phantom 3 Professional
3c62d5ebc8ec4e47a10042ede55edb94.jpg
Phantom 3 Advanced
dedc2d33208f49019dac866396120d8b.jpg
480p 720p 720p 720p
0b7c730acabe4052af60f83b9fcbf287.jpg
1080P
30 fps
14 MP Photos
4K, 30 fps
12 MP Photos
Exposure Modes: Programmed Exposure, Spot Metering, Shutter Priority, Manual Exposure
4K, 30 fps
12 MP Photos
Exposure Modes: Programmed Exposure, Spot Metering, Shutter Priority, Manual Exposure
1080P, 60 fps
12 MP Photos
Exposure Modes: Programmed Exposure, Spot Metering, Shutter Priority, Manual Exposure

c2849fe1aff144f5a522d380847de060.jpg
Landing gear control
9362192d73f54380bbe162820aaf793a.jpg
Full 360˚ gimbal control
Yaw-axis can automatically be returned to the center position
b535c2e00ef94ed898bc2cfc5d1d0931.jpg
a03e38c78d944d988fdcfa9d0002c373.jpg
Gather information from the range extender and datalink
Transmission Distance:
FCC: 800m
CE: 400m
-- -- --
31697598ab9d41b1aae740931d9d862d.jpg
-- Supports channel selection and live stream settings
Transmission Distance: 2000m
Supports channel selection and live stream settings
Transmission Distance: 2000m
Supports channel selection and live stream settings
Transmission Distance: 2000m
962da139b6a7420a92ee3358fde6aa0f.jpg
-- Master/Slave Mode
Embedded GPS
d6414b1727364a7d9a1fcbbe7ea3ffd4.jpg
Waypoint
Joystick Attitude Control
Point of Interest, Follow Me, Waypoint, IOC Point of Interest, Follow Me, Waypoint, IOC Point of Interest, Follow Me, Waypoint, IOC

© Habrahabr.ru