«Хозяин, напиши для нас приложение». Требуется разработчик софта и железа для дронов DJI
Китайцы начали «пылесосить» сначала Китай, а теперь и весь мир, чтобы найти гениальных разработчиков приложений для своих дронов.
В 2014, сразу после того как DJI (китайский Google в области дроностроения) представили пакет средств для разработки (SDK), прошла первая олимпиада по разработке софта для дронов. Победители получили 100 000 юаней (около 900 000 руб). О первых трех местах — под катом.
В 2015 стартовала вторая олимпиада для программистов уже со всего мира. Итоги ее мы узнаем в конце лета.
Есть несколько проектов, которые, используя SDK от DJI, выпустили очень востребованные и коммерчески успешные программы для дронов.
Если вы владелец виноградников, или вам нужно увеличить радиус полета, чтобы нормально перелететь через границу пролив, если вам нужно посчитать людей и оценить размер толпы, управлять целым флотом муталисков дронов, отслеживать аварии на дорогах или нелегально припаркованные автомобили. Для вас уже постарались дрон-программисты.
А может быть вы хотите сделать 3d-скан горы Маттерхорн (4478 м)?
Всех желающих написать софт для страж-птицы, добро пожаловать под кат. Иначе это сделают китайцы.
SDK
Дроны нашпигованы всевозможными фичами: видеокамерами, сонарами, GPS, дальномерами, умными батарейками, подвесами, телеметрией, передатчиками и пр.
Поддержка фич под разные модели
SDK поддерживает как IOS, так и Android
Github
Потенциальные ниши для дронов и разработки приложений
Сельское хозяйство и фермерство, контроль инфраструктуры, самостоятельная навигация в условиях отсутствия GPS, наблюдение и картирование, создание кино, наблюдение за дикой природой, спасение и поиск.
Первая олимпиада 2014
Было заявлено 100 команд, 7 вышли в финал.
Были отобраны три победителя из семи финалистов:
Первое место: Команда BetterW из South China University of Technology (SCUT)
Второе место: Команда White из Shanghai Normal University (SNU)
Третье место: Команда FlatCat из Fudan University
Первое место
Чемпионы получили 100 000 юаней кэшэм. Им предложили стажировку и будущее трудоустройство в DJI.
BetterW заслужили первое место, разработав приложение, которое может помочь с пробками на дорогах, возникших из-за аварий. Через мессенджер WeChat поступает наводка на вероятное место происшествия и тут же туда отправляется дрон DJI Phantom 2 Vision+, чтобы зафотать обстановку. В будущем подобные приложения пригодятся полиции медикам и спасателям.
Второе место
Команда, занявшая второе место, White of SNU, впечатлила судей тем, что разработала хардварное устройство и «говорящее мобильное приложение», позволяющее пользователю делать аэрофото- и видеосъемку. Теперь пилот может сфокусироваться на управлении полетом и при этом фотать намного проще. Команда провела полевые испытания и максимизировала зону приема и силу сигнала, создав механизм сопровождения летательное устройство.
Третье место
В целях обеспечения безопасности на митингах и больших сборищах людей, занявшая третье место команда FlatCat, написала мобильное приложение, которое позволяет дронам фотографировать и по фотографии вычислять количество людей на заданной территории. Данные могут передаваться в центр по наблюдению за потоком людей и отслеживанию перемещения отдельного индивида.
Помимо наград за первые три места, была еще номинация Creative App Awards за выдающиеся результаты.
«TIANXING ZHE» — создали мобильное приложение, которое использует акселерометр смартфона, чтобы управлять полетом
«FEIJIZHIMENG» — используя расширитель диапазона Wi-Fi (Wi-Fi range extender), написали программу разделяющую управление на 2 монитора («пульта»), один для управления полетом, второй для управления камерой.
«XINGKONG ZHE» — представили программу для аэроселфи, которая делает 360 градусный изображения пилота и с функцией отслеживания лиц впридачу.
Team For the Dream (FTD) представили приложение, которое делает полет дрона более безопасным, используя алгоритм уклонения от препятствий.
(Не прошло и полгода, как DJI внедрила эти «наброски» в свои основные продукты)
Вторая олимпиада 2015
Под лозунгом «Изменяя жизни и мир» («Changing Lives & The World»), соревнование открыто для студентов и независимых программистов отовсюду. Участники помогут «показать миру безграничный потенциал технологии маленьких дронов».
Команда должна зарегистрироваться и отправить короткое описание проекта. DJI оценит, какие команды приняты к участию и кому давать технические консультации. Жюри будет состоять из экспертов индустрии беспилотников, техников, опытных предпринимателей, они-то и выберут победителей.
На момент написания статьи, если верить графику, команды отчаянно допиливают свой проект, чтобы в середине августа презентовать его жюри.
Обзор успешных приложений для дронов
Pixiepath
Приложение позволяет управлять целым флотом дронов. Возможная область применения — поисковые работы заблудившихся туристов.
Интервью с лидером проекта
Кстати, им нужны бетатестеры
Карта, созданная роем «фантиков», одновременно летящих над городом.
Статья в Forbes
Field of View
Компания основанная в 2010 году, предоставляет «софтовые» и «железячные» решения в области картографии для сельского хозяйства
Софт — следит за здоровьем растительности
Железо — мультиспектральные и обычные камеры, специально заточенные под сельскохозяйственные нужды
skyward.io
Эти товарищи основательно смотрят в будущее, которое кишит дронами и уже занимаются разработкой трасс и «ПДД» для дронов.
skyward.io/software
Доступ в реальном времени к различной информации — погоде, «пробках» и пр. Полная аналогия с авиацией только для дронов.
BrightSky Labs
«Инстаграмчик» для фантика. Позволяет запостить в один клик в соцсети фото и видео с дрона, наложив фильтры и музыку.
•Choose what to share in seconds — even from really long videos — thanks to automatically spotlighted best parts
•Select from stunning filters researched by Hollywood colorists and suggested for your location
•Add your own watermark or title card using your own art or select one from top designers
•Add your favorite music or your own voice to your video
•Edit and share videos from your Dropbox with seamless importing
•Speed your video up to 500% or slowwww it down to 20%
•Share seamlessly right from the app to Facebook, Instagram, Tumblr, YouTube, WhatsApp, Vine, Path, WeChat, Messages or Mail
•Adjust edits instantly to time constraints of social network where you want to share
•Choose whether to share awesome high-resolution or faster standard-quality video
•Save your edits directly to your iPhone’s or iPad’s Camera Roll
•Connect your iPhone or iPad to your GoPro«s WiFi & your DJI Phantom 2 Vision’s WiFi with helpful step-by-step tips
•Watch live preview of what your camera sees so you can take the video you want
•Start & stop live recording from GoPro & native DJI Phantom 2 Vision camera
•Control DJI Phantom 2 Vision camera in real time
•Change GoPro camera recording settings
•Record in slo-mo mode with convenient shortcut
•Switch inputs from live to library with just a swipe
•Play and edit videos from the microSD card of your GoPro or DJI Phantom 2 Vision
•Browse and delete files on your GoPro«s microSD card
•Browse files on your DJI Phantom 2 Vision«s microSD card
•Invite friends to grab videos from your GoPro to share their own favorite parts
•Enjoy the same easy & powerful features for your iPhone or iPad
•Edit timelapse and slo-mo videos shot with your iPhone or iPad
•Looks epic on iPhone 6 and iPhone 6 Plus — also great on iPhone 5s, 5c, 5, 4s & iPad
•Works great with all GoPro HERO 4, 3+, and 3 cameras
•Works great with the native cameras of the DJI Phantom 2 Vision and Vision Plus
Автопилот для Фантома
Дрон+смартфон=автопилот и много режимов полета, включая «следуй за мной».
Незаконная парковка
2 июня DJI и Intel объединили усилия и создали «городское решение» для контроля за парковками.
С Intel`овскими процессорами, дроны могут определять позицию и ориентацию автомобилей и понимать насколько легально они припаркованы.
DroneDeploy
Проект для владельцев виноградников. Можно создавать карты в 1 клик. Картирование в автоматическом режиме.
Создание карт для добывающей промышленности
Покликать можно тут
Создание карт для строительства с разрешением 2 см/пиксель
»
Демо
Сельское хозяйство — дроны помогут найти то, что незаметно невооруженным глазом — вредителей, сорняки, заболевания на ранней стадии.
Pix4D
Сервис для создания 3d-моделей на основе фотографий, сделанных дронами.
Видеоканал с записями обучающих вебинаров и отчетов по проектам
Соответствие фотографий
Каждое соответствие становится ключевой точкой. Если ключевая точка найдена на трёх фотографиях и более, программа строит эту точку в пространстве. Чем больше ключевых точек, тем легче определить координаты точки в пространстве. Отсюда следует главное правило — поддерживать большое пересечение между фотографиями. Разработчики программы рекомендует пересечение от 60 до 80%.
Пространственные координаты каждой точки вычисляются методом триангуляции: от каждой точки съёмки к выбранной точке автоматически проводится линия зрения (line of sight или ray), и их пересечение даёт искомое значение.
Алгоритмы, применяемые в фотограмметрии, имеют целью минимизировать сумму квадратов множества ошибок, решаемую обычно с помощью алгоритма Левенберга-Марквардта (или метода связок), основанного на решении нелинейных уравнений методом наименьших квадратов.
Совокупность всех 3d-точек называется облаком точек. В процессе обработки фотографий создаётся расширенное облако точек, которое используется для генерирования поверхности, составленной из треугольников (полигонов, мешей). Последний шаг — вычислить разрешение (размер пикселя) и какие пиксели на фотографии соответствуют какому мешу. Для этого 3d-модель развёртывается в 2d-плоскость и затем 3d-положение точки ставится в соответствие оригинальной фотографии для задания цвета.
Как превратить ваш дрон в измерительный прибор
Рио
За 19 десятиминутных вылетов было отснято 3584 фотографии, из которых 2090 были использованы для создании модели. Из-за сильного ветра, капризных погодных условий, непостоянного света и ограниченных часов для посещения, съёмочный процесс занял приблизительно 8 часов, растянутых на 7 дней. Разные частей модели были вручную объединены с помощью 82 контрольных точек и нескольких замеров длины для верного масштаба. Финальная версия содержит 2.5 миллиона мешей и 134.4 миллиона точек в разрешении 16384×16384 пикселей.
3д-модель можно повертеть тут.
Посмотреть видео, как создавался проект
Река и наводнение
за час съёмок и 14 часов обработки смогла получить 3d модель затопленной территории общей площадью 360 Га и протяжённостью 15 км. Точность модели составила 4.12 cм/пиксель, объединены 1992 фотографии. У проекта было две цели: установить максимальный уровень повышения воды в реке во время потопа и отслеживать динамику в долгосрочном периоде, а также выявить участки с упавшими деревьями и найти те, что повлияли на береговую проходимость или образовали запруды.
Гора
За 11 вылетов на планере, составивших в сумме 5ч 40 минут полётного времени, команда pix4d сделала 2188 фотографий чтобы создать из них 3d модель самой известной горы в Швейцарии. Общая площадь покрытия составила 28 кв. км, длина пути 263.6 км, а максимальная высота — 4707 м. Модель содержит 300 млн. точек с разрешением 20 см/пиксел.
Замок
Целью проекта было создать очень точную модель Шильонского замка в Швейцарии — сложного архитектурного сооружения, включающего в себя внутренний двор и 18 комнат. Для получения фотографий внешних и внутренних частей замка были использованы Phantom 2 Vision, GoPro Hero 3+, Canon 6D и Sony alpha 7r.
За полдня команда проекта сделала 6200 фотографий. Для точной реконструкции фасадов были использованы несколько типов съёмок: вертикально вниз, съёмка с наклоном камеры и наземные фотографии —, а затем 19 отдельных сетов фотографий были обработаны в программе pix4d, объединены и преобразованы в карту высот, состоящую из 95 миллионов точек с результирующим разрешением от 5 мм до 20 см.
3д-модель можно повертеть тут.
Отчет о проекте (PDF)
Видеоотчет о проекте
Для (московских) разработчиков
Разработчики уже нужны в огромных количествах. Тем, кто решил заняться программированием хеннелор дронов, могу посоветовать обратиться в компанию-мастерскую CopterTime.ru (писать на почту dir (coбaka)coptertime.ru). У них, кстати, большой опыт в дроновождении и они могут подкинуть много идей, что сейчас очень актуально для реализации.
Если не терпится протестировать свой софт для дронов, CopterTime готов предоставить для теста (на территории мастерской по предварительной договоренности) супернавороченную платформу DJI Matrice 100 и вот эти модели (таблица со списками фич, которые поддерживаются в SDK):
 Phantom 2 Vision+ |
 Inspire 1 |
 Phantom 3 Professional |
 Phantom 3 Advanced |
|
 |
480p | 720p | 720p | 720p |
 |
1080P 30 fps 14 MP Photos |
4K, 30 fps 12 MP Photos Exposure Modes: Programmed Exposure, Spot Metering, Shutter Priority, Manual Exposure |
4K, 30 fps 12 MP Photos Exposure Modes: Programmed Exposure, Spot Metering, Shutter Priority, Manual Exposure |
1080P, 60 fps 12 MP Photos Exposure Modes: Programmed Exposure, Spot Metering, Shutter Priority, Manual Exposure |
 |
√ | Landing gear control | √ | √ |
 |
√ | Full 360˚ gimbal control Yaw-axis can automatically be returned to the center position |
√ | √ |
 |
√ | √ | √ | √ |
 |
Gather information from the range extender and datalink Transmission Distance: FCC: 800m CE: 400m |
-- | -- | -- |
 |
-- | Supports channel selection and live stream settings Transmission Distance: 2000m |
Supports channel selection and live stream settings Transmission Distance: 2000m |
Supports channel selection and live stream settings Transmission Distance: 2000m |
 |
-- | Master/Slave Mode Embedded GPS |
√ | √ |
 |
Waypoint Joystick Attitude Control |
Point of Interest, Follow Me, Waypoint, IOC | Point of Interest, Follow Me, Waypoint, IOC | Point of Interest, Follow Me, Waypoint, IOC |
