Робот TIAGo научился приносить 20 видов пива из холодильника

ms5dynilbqhzyondxlssvj9vofa.jpeg
Робот распознаёт нужный сорт пива среди 20-ти образцов

Один из участников конкурса ИИ-систем Nvidia Jetson Challenge нашёл неординарное применение системе Искусственного Интеллекта. В то время как другие участники пытались применить машинное зрение в системах здравоохранения, безопасности, промышленных системах IoT и инновационных решениях робототехники, немецкие разработчики научили своего робота PAL Robotics TIAGo… приносить пиво из холодильника!
Свободный робот TIAGo («свободный» не в смысле свободы воли, а в смысле открытого программного обеспечения и опубликованного дизайна некоторых комплектующих для самостоятельного изготовления и сборки) от испанской компании PAL Robotics — это сервисный робот, предназначенный для обслуживания людей внутри помещений. Программное обеспечение создано на стандартном открытом фреймворке Robot Operating System (ROS), так что эта модель идеальна для различных исследований и экспериментов в области робототехники.

Для TIAGo доступна подробная документация, в том числе инструкции по работе OpenCV, PCL, автономной навигации, MoveIt! и системы взаимодействия с людьми. Есть готовый симулятор Gazebo для быстрого тестирования алгоритмов, проектирования робота, регрессионного тестирования и обучения систем машинного зрения на реалистичных сценариях.

Группа немецких студентов-программистов — Рафаэль Мемесхаймер (тим-лидер), Лукас Буххольд (семантическая сегментация) и Иванна Михальчишина (манипулирование) — подключили к роботу TIAGo модульный компьютер Nvidia Jetson TX2, специально сконструированный для обсчёта задач ИИ, в том числе машинного зрения.

552bbf6b8e390a308ae21136f9f20948.jpg
Nvidia Jetson TX2. Фото: Nvidia

Jetson TX2 — энергоэффективный встроенный модуль для быстрых ИИ-вычислений, построенный на архитектуре Pascal. Благодаря миниатюрному форм-фактору, низкому энергопотреблению 7,5 Вт он отлично подходит для роботов, дронов, мультикоптеров, умных камер и портативных медицинских устройств, считает производитель. Модуль оборудован 8 ГБ оперативной памяти, с пропускной способностью шины памяти 59,7 ГБ/с. Для справки, вот технические характеристики Jetson TX2, а также более дешёвого модуля Jetson TX1 прошлого поколения на архитектуре Maxwell.

  Jetson TX2 Jetson TX1
GPU NVIDIA Pascal, 256 ядер CUDA NVIDIA Maxwell, 256 ядер CUDA
CPU HMP Dual Denver 2/2 MB L2 +
Quad ARM A57/2 MB L2
Quad ARM A57/2 MB L2
Видео 4K x 2K 60 Гц кодирование (HEVC)
4K x 2K 60 Гц декодирование (12 бит)
4K x 2K 30 Гц (HEVC)
4K x 2K 60 Гц декодирование (10 бит)
Память 8 ГБ 128 бит LPDDR4
59.7 GB/s
4 ГБ 64 бит LPDDR4
25.6 GB/s
Дисплей 2x DSI, 2x DP 1.2 / HDMI 2.0 / eDP 1.4 2x DSI, 1x eDP 1.4 / DP 1.2 / HDMI
CSI До 6 камер (две линии)
CSI2 D-PHY 1.2 (2,5 Гбита/с на линию)
До 6 камер (две линии)
CSI2 D-PHY 1.1 (1,5 Гбита/с на линию)
PCIE Gen 2×1x4 + 1×1 OR 2×1 + 1×2 Gen 2×1x4 + 1×1
Накопитель 32 ГБ eMMC, SDIO, SATA 16 ГБ eMMC, SDIO, SATA
Другое CAN, UART, SPI, I2C, I2S, GPIOs UART, SPI, I2C, I2S, GPIOs
USB USB 3.0 + USB 2.0
Связь 1 Gigabit Ethernet, 802.11ac WLAN, Bluetooth
Размеры и механика 50×87 мм (400-пиновый коннектор для соединения плат)


Эти игрушки стоят $499 и $344, а в комплекте с dev-китом ещё дороже (для учебных заведений США и Канады скидка в размере $300).

Так вот, на базе робота TIAGo и модуля Jetson TX2 немецкие студенты разработали программу автономного управления, которая находит путь к холодильнику, открывает дверцу,

5749fa828c8427e0a56429241de2d3cd.jpg

распознаёт пиво с помощью нейросети семантической сегментации HomeNet (исходный код),

ms5dynilbqhzyondxlssvj9vofa.jpeg

захватывает его манипулятором,

95d5a8388bb3843efd21f82801f16518.jpg

закрывает дверцу

68cbbcc658b34b1516b0adfb2976f381.jpg

и везёт пиво хозяйке.


Теперь студенты всерьёз рассчитывают получить один из призов на конкурсе — $10 000, видеокарту NVIDIA TITAN Xp, набор разработчика Jetson TX2 или бесплатный курс в Институте глубинного обучения (Deep Learning Institute). Финалистам конкурса также оплатят билеты на GTC 2018 (GPU Technology Conference) — конференцию по GPU-инновациям и Искусственному Интеллекту, которая пройдёт 25–29 марта в Калифорнии.

© Geektimes