Qualcomm добавила 50% памяти в Hexagon NPU для локальных ИИ-агентов
Qualcomm раскрыла детали следующего поколения Hexagon NPU — процессора Snapdragon для выполнения ИИ-задач непосредственно на устройстве. Главные изменения затронули не только вычислительные блоки: объём общей локальной памяти NPU увеличили на 50%, а в архитектуру добавили Element Accelerator — специализированный ускоритель для трансформер-моделей. Он работает совместно с уже существующими блоками. Какой именно процессор Snapdragon получит этот NPU, компания пока не сообщила.
Увеличение локальной памяти ценно тем, что при работе трансформеров NPU постоянно обрабатывает промежуточные данные, активации и состояния модели. Если их приходится регулярно переносить во внешнюю LPDDR-память, то растут задержки и энергопотребление. Qualcomm рассчитывает хранить больше таких данных непосредственно рядом с вычислительными блоками, что особенно актуально при обработке длинного контекста и одновременной работе нескольких ИИ-агентов. Для моделей в формате INT4 компания заявляет до 50% более высокую производительность на этапе обработки входного контекста до начала генерации ответа.
Отдельный акцент Qualcomm делает на Mixture-of-Experts (MoE) — архитектуре, при которой для каждого шага вычислений активируется только часть параметров модели. В качестве примера компания приводит модель с 30 млрд параметров, из которых на одном шаге задействуется около 3 млрд. В сочетании с управлением кэшем и флеш-памятью такой подход должен позволять запускать более крупные модели на устройствах с ограниченным объёмом оперативной памяти. Поддерживаются форматы INT2, INT4, INT8, FP8 и FP16, позволяющие выбирать между экономией памяти и точностью вычислений.
При этом ключевые цифры пока отсутствуют: Qualcomm не назвала ни абсолютный объём локальной памяти, ни максимальную производительность NPU, ни энергопотребление. Показатель «до 50%» получен во внутренних измерениях компании и относится к INT4-моделям, поэтому не является результатом независимого тестирования.
Более подробные характеристики ожидаются на Snapdragon Summit на Гавайях 22–24 сентября, где Qualcomm должна представить платформу, для которой предназначен новый Hexagon NPU.
© iXBT
