Imagination представила новое поколение мобильных ускорителей нейронных сетей
Даже в условиях банкротства и смены владельца компания Imagination Technologies не прекращала заниматься разработкой новых вычислительных архитектур. После отказа компании Apple от графических ядер PowerVR британская Imagination перешла в руки инвестора с китайским капиталом. Параллельно с этими процессами в сентябре прошлого года компания представила первые фирменные IP-ядра для ускорения работы нейронных сетей. Ядра PowerVR Series2NX NNA могли встраиваться в SoC, CPU и GPU, а могли работать самостоятельно с производительностью до 4,1 TOPS на ядро.
По словам компании, в настоящий момент ускорители Series2NX лицензированы многими разработчиками мобильных устройств, а также решений для автомобильного сектора. Это миниатюрные платформы ИИ с функцией принятия решений, что для заявленных сегментов чрезвычайно важно. Ведь в смартфон и даже в автомобиль никак не втиснуть возможности ЦОД, а подключение к облакам возможно не всегда либо ограничено пропускной способностью локальных сетей.
Сегодня Imagination представила ещё более производительные ускорители нейронных сетей и обеспечила им многоядерную поддержку и, соответственно, значительное масшабирование. Новая серия ускорителей PowerVR Series 3NX содержит IP-ядра с производительностью от 0,6 до 10 TOPS и может работать в связке из 16 ядер (в комбинации из 2, 4, 8 и 16 ядер), что даёт на выходе 160 TOPS. К примеру, монстр AMD Radeon Instinct MI60 на 7-нм GPU Vega 20 на 4-битных расчётах ML показывает 118 TOPS. Данные Imagination, надо полагать, тоже приводятся для 4-битных расчётов, но цифра в 160 TOPS всё равно впечатляет.
Ядра PowerVR Series 3NX получили не только увеличенную производительность, они стали компактнее: рост производительности на 40% произошёл на той же площади чипа, что и у предыдущего поколения ускорителей. При этом можно говорить о росте энергоэффективности на 60%, а также о снижении потребности в пропускной способности на 35%. Последнее очень важно. Это позволяет локальному ИИ экономить внешний трафик. Для этого, в частности, новые ядра получили возможность сжатия без потерь весовых коэффициентов, необходимых для работы всех моделей машинного обучения.
Для большей гибкости платформы в ядрах серии PowerVR Series 3NX появилось также решение с возможностью перепрограммирования — ядро PowerVR Series3NX-F (flexible). Работать с Series3NX-F можно с помощью фреймворка на OpenCL, для чего поставляется фирменный SDK Imagination. Также в ядра Series 3NX добавлен аппаратный блок по обеспечению безопасности расчётов — зона доверенных вычислений. Наконец, ядра Series 3NX легко связать с работой фирменных GPU PowerVR (PowerVR Series9XEP, Series9XMP и Series9XTP) для организации GPGPU-вычислений (общих расчётов средствами графических ядер), для чего также поставляется фирменный API.
