Mobile ML: машинное обучение в кармане. Часть 1 — Железо
Автор: Андрей Батутин, Senior iOS Developer в DataArt
Сегодня все делают Machine Learning, включая наши телефоны. Да, скоро ваш телефон станет по настоящему смарт. Ну или по крайней мере, умнее нас с вами. Почему? Сейчас разберемся. Начнем с железа, уже установленного в мобильных устройствах.
TL; DR
Все основные производители мобильных System-on-chip (SoC) уже 3–4 года активно добавляют ML-specific hardware в свои решения. Если у вас топовый андроид или айфон, рядом с GPU у вас почти гарантированно есть чип, специально заточенный под ML-задачи.
В основном ML-чипы предназначены для Computer Vision, Audio, Camera/Photo/Video. Основные задачи: уменьшение шума на фото, лучшее качество при зуме, распознавание лиц и животных, распознавание речи и синтез текста.
К тому же, основные вендоры предоставляют SDK, которая дает доступ к этому ML-чипу сторонним разработчикам. Так что вы вполне можете сделать свой Snapchat или Siri, все равно вы наверняка сидите дома (Когда все это кончится?! Как я хочу в KFC!).
Железо
Основные вендоры мобильных чипов активно расширяют свои SoC-архитектуры с помощью Neural Processing Unit (NPU), Digital Signal Processor (DSP) и специализированных AI-ядер. Компоненты эти специально заточены для работы ML-моделей.
Qualcomm
ML Hardware: DSP + GPU
SDK: Qualcomm Neural Processing SDK
Предоставлен Qualcomm Neural Processing SDK, которая обеспечивает аппаратное ускорение ML-моделей на связке DSP + GPU + CPU для Snapdragon чипов. DSP заточен под работу с аудио/видео: умная камера, очистка картинки от шумов, лучшее качество при зуме и схожие инструменты для повышения качества звука.
HiSilicon/Huawei
ML Hardware: NPU
SDK: HiAI SDK
Da Vinci NPU состоит из трех ядер: двух высокопроизводительных, и одного энергоэффективного ядра для ML-вычислений.
HiAI SDK дает доступ к заточенному под операции над матрицами NPU.Т. е. NPU идеально подходит для Deep Neural Network моделей. Из плюшек — плагин к Android Studio.
HiAI заточена под:
- Computer Vision;
- Automatic Speech Recognition;
- Natural Language Understanding.
MediaTek
ML Hardware: APU + GPU
SDK: NeuroPilot SDK
NeuroPilot SDK позволяет решать ML-задачи с помощью AI Processing Unit (APU) + GPU. APU заточен под Deep Neural Network модели. Обеспечивает аппаратное ускорение для convolutions, fully connected layers, activation functions, и т. д.
NeuroPilot 2.0 позволяет в реальном времени:
- Multi-person pose tracking;
- 3D pose tracking;
- multiple object identification;
- semantic segmentation;
- image enhancement.
Samsung
ML Hardware: NPU
SDK: Samsung Neural SDK / EDEN SDK
Samsung добавил в Exynos SoC специализированный NPU. Состоит он из двух Multiply–accumulate units, заточенных под операции над матрицами.
Также он предоставляет Samsung Neural SDK, которая обеспечивает аппаратное ускорение для ML-моделей с помощью связки CPU + GPU + NPU.
Apple
ML Hardware: NPU
SDK: CoreML SDK
Начиная с Apple A11, Bionic использует NPU. В A13 NPU разросся уже до восьми ядер. Одна из killer-features нового NPU — Deep Fusion image processing: делаем 9 снимков и комбинируем их в один. Особенно актуально для ночной съемки.
Предоставляет CoreML SDK. Также, как в других SDK, обеспечивает аппаратное ускорение для ML-моделей. Из плюшек — Create ML — UI-only среда для тренировки ML-моделей. Позволяет тренировать:
- Object detection/classifier;
- Sound classifier;
- Motion classifier;
- Text classifier/word tagging;
- Tabular Classifier;
- Recommendation engine.
Полезные ссылки
ML-бенчмарк для Андроид смартфонов;
Qualcomm Neural Processing SDK;
HUAWEI HiAI SDK;
Apple CoreML
В продолжении материала подробнее разберемся в том, как работает NPU. Поговорим о нужном для мобильного ML софте и способах его использования.
