Qualcomm добавила 50% памяти в Hexagon NPU для локальных ИИ-агентов
Qualcomm раскрыла детали следующего поколения Hexagon NPU — процессора Snapdragon для выполнения ИИ-задач непосредственно на устройстве. Главные изменения затронули не только вычислительные блоки: объём общей локальной памяти NPU увеличили на 50%, а в архитектуру добавили Element Accelerator — специализированный ускоритель для трансформер-моделей. Он работает совместно с уже существующими блоками. Какой именно процессор Snapdragon получит этот NPU, компания пока не сообщила.
Увеличение локальной памяти ценно тем, что при работе трансформеров NPU постоянно обрабатывает промежуточные данные, активации и состояния модели. Если их приходится регулярно переносить во внешнюю LPDDR-память, то растут задержки и энергопотребление. Qualcomm рассчитывает хранить больше таких данных непосредственно рядом с вычислительными блоками, что особенно актуально при обработке длинного контекста и одновременной работе нескольких ИИ-агентов. Для моделей в формате INT4 компания заявляет до 50% более высокую производительность на этапе обработки входного контекста до начала генерации ответа.
Отдельный акцент Qualcomm делает на Mixture-of-Experts (MoE) — архитектуре, при которой для каждого шага вычислений активируется только часть параметров модели. В качестве примера компания приводит модель с 30 млрд параметров, из которых на одном шаге задействуется около 3 млрд. В сочетании с управлением кэшем и флеш-памятью такой подход должен позволять запускать более крупные модели на устройствах с ограниченным объёмом оперативной памяти. Поддерживаются форматы INT2, INT4, INT8, FP8 и FP16, позволяющие выбирать между экономией памяти и точностью вычислений.
При этом ключевые цифры пока отсутствуют: Qualcomm не назвала ни абсолютный объём локальной памяти, ни максимальную производительность NPU, ни энергопотребление. Показатель «до 50%» получен во внутренних измерениях компании и относится к INT4-моделям, поэтому не является результатом независимого тестирования.
Более подробные характеристики ожидаются на Snapdragon Summit на Гавайях 22–24 сентября, где Qualcomm должна представить платформу, для которой предназначен новый Hexagon NPU.
iXBT прочитано 1022 раза
