Liquid AI добавляет уровень персонального контекста для агентов на базе Snapdragon
- Liquid AI адаптировала ПО Liquid Context для чипов Qualcomm Snapdragon, чтобы локально формировать актуальный профиль пользователя для ИИ-агентов.
- Производители устройств смогут лицензировать Liquid Agent на базе модели с 2,6 миллиарда параметров, оптимизированной под NPU Hexagon.
- Liquid AI выпустила черновую модель на 280 миллионов параметров, ускоряющую генерацию ответов мультимодальной нейросети до 2,62 раза.
Почему это важно: Локальная работа на чипе сохраняет данные на устройстве и избавляет облачные модели от необходимости обрабатывать каждое обновление.
Компания Liquid AI адаптировала Liquid Context для работы на процессорах Snapdragon от Qualcomm. Это ПО формирует профиль пользователя прямо на самом устройстве. О своей разработке компания объявила на саммите Snapdragon Summit в Мауи в среду.
Днем позже компания выпустила инструмент, ускоряющий работу своей визуальной модели на устройствах. Liquid AI, выделившаяся из Массачусетского технологического института (MIT) в 2023 году, создает ИИ-модели, предназначенные для работы на телефонах, ноутбуках, автомобилях и роботах, а не в центрах обработки данных.
Что делает Liquid Context
С разрешения пользователя Liquid Context изучает его распорядок дня, предпочтения и потребности на основе сигналов устройства. Она поддерживает этот профиль в актуальном состоянии. Затем программа передает нужные данные ИИ-агентам по выбору пользователя. Это может быть собственный Liquid Agent от Liquid AI или агенты других компаний. Они могут работать на устройстве, в облаке или одновременно там и там.
В компании заявили, что персональный контекст остается на устройстве. Агенты получают только ту информацию, которую разрешил пользователь. Этот уровень работает в фоновом режиме на Hexagon NPU — специализированном чипсете Qualcomm для задач искусственного интеллекта. Благодаря этому облачной модели не приходится обрабатывать каждое обновление.
«Персональный ИИ начинается с понимания того, как вы живете, что вам нужно и когда именно это вам требуется», — заявил Рамин Хасани (Ramin Hasani), генеральный директор и соучредитель Liquid AI.
Liquid AI привела три примера, назвав их иллюстративными. В одном из них в сообщении говорится, что ребенок пользователя заболел и его нужно пораньше забрать из школы. Агент проверяет календарь, определяет, какие встречи можно перенести, и составляет черновики электронных писем для подтверждения пользователем.
В другом примере умные часы фиксируют личный рекорд во время пробежки. Когда пользователь возвращается в автомобиль, бортовой агент поздравляет его и охлаждает салон до комфортной температуры. Qualcomm уже поставляет чипы автопроизводителям, а компания BMW в июле доверила ей всю вычислительную систему своих автомобилей.
Что получает Qualcomm
Производители устройств могут встроить Liquid Context в качестве стандартной функции, а также лицензировать Liquid Agent. Этот агент работает на базе модели LFM2.5–2.6B, насчитывающей 2,6 миллиарда параметров. Компания Liquid AI оптимизировала ее под Hexagon NPU. Обе компании заявили, что «изучают дополнительные возможности» для сотрудничества. Ни одна из компаний не назвала конкретных производителей устройств.
«Сочетая наши передовые в отрасли платформы Snapdragon с инновационными технологиями искусственного интеллекта от таких компаний, как Liquid AI, мы помогаем ускорить появление нового поколения пользовательских ИИ-агентов», — отметила Дурга Маллади (Durga Malladi), старший вице-президент Qualcomm Technologies.
Qualcomm также производит чипы для дата-центров, включая заказные процессоры для амазоновской AWS. Тем временем OpenAI работает над собственными устройствами.
Более быстрая визуальная модель
В четверг Liquid AI выпустила черновую модель для LFM2.5-VL-3B. Эта модель способна работать как с изображениями, так и с текстом. В ней используется метод, известный как спекулятивное декодирование (предсказание). Небольшая черновая модель угадывает следующие несколько слов, а основная модель проверяет их за один проход, благодаря чему ответ выдается быстрее без потери качества.
Черновая модель содержит около 280 миллионов параметров и увеличивает размер основной модели на 8,9%. По заявлению Liquid AI, это ускоряет декодирование до 3,13 раза на MacBook Pro с чипом M5 Max и до 2,66 раза на графическом процессоре Nvidia H100. Ответы в целом генерируются в 2,62 и 2,27 раза быстрее соответственно. Обучение модели проводилось исключительно на «железе» от AMD.
Как отмечают в Liquid AI, для многих задач прирост производительности кажется меньше, чем есть на самом деле. Метод не ускоряет чтение самого изображения или текстового запроса. На периферийных устройствах (edge devices) эти этапы занимают большую часть общего времени, что ограничивает максимальный общий прирост скорости. Модель доступна для бесплатной загрузки на платформе Hugging Face.
