Почему больше GPU и токенов не гарантирует лучших результатов от ИИ-агентов10.11.2026 18:30

При поддержке WEKA

Компаниям, использующим мультиагентные ИИ-системы, следует оценивать их по стоимости одного достигнутого результата и хранить рабочий контекст каждого агента в быстром хранилище за пределами памяти GPU, считает Вэл Берковичи, директор по ИИ в WEKA. В беседе с основателем VentureBeat Мэттом Маршаллом на саммите VB Agentic Infrastructure Stack Summit Берковичи назвал две причины, по которым корпоративные расходы на GPU для ИИ-агентов превышают реальные потребности.

Первая — тарификация по токенам. Поставщики моделей и их клиенты по-прежнему оценивают работу агентов по количеству потреблённых токенов, поэтому команда агентов выглядит дороже одиночного агента даже тогда, когда выполняет каждую задачу с меньшей стоимостью результата. Вторая — повторное вычисление KV-кэша, кратковременной памяти, которую большая языковая модель формирует при обработке промпта. Когда этот кэш вытесняется из памяти GPU, графическому процессору, обслуживающему следующего агента в рое, приходится заново вычислять контекст, уже построенный другим агентом, — и компании закупают дополнительные GPU во многом ради того, чтобы держать больше этого кэша в памяти с высокой пропускной способностью.

«Правило номер один — не вычислять один и тот же токен дважды, — сказал Берковичи. — Не делать prefill дважды».

Почему компаниям стоит оценивать мультиагентный ИИ по стоимости результата

Большие команды агентов — не значит лучшие. Независимая оценочная компания Vals AI выяснила, что команды агентов в её бенчмарке Vibe Code Bench AI расходуют огромное количество токенов ради прироста скорости и обходятся в 1,8–5,1 раза дороже одиночных агентов при едва заметном улучшении качества. Разговоры с клиентами сместились от «максимизации токенов» в начале года к «ограничению токенов» сейчас: финансовые отделы сопоставляют стоимость каждого запуска агента с ценностью проделанной им работы.

«Как отрасль мы всё ещё застряли на тарификации за токен, — сказал Берковичи. — Мы выставляем счета за потребление, а не за результаты».

Берковичи сослался на независимых оценщиков, таких как Vals AI и Epoch AI, которые оценивают качество работы агентов в юридических, финансовых и медицинских задачах и рассчитывают стоимость каждой выполненной задачи или сессии. Чтобы их данным можно было доверять, эти оценщики должны оставаться независимыми от лабораторий, разрабатывающих модели, и поставщиков агентных фреймворков, а покупателям следует постоянно это проверять.

«Думаю, это будет больший объём токенов при меньшей стоимости единицы, что обеспечит лучшую стоимость результата», — сказал он.

На последующей панельной дискуссии Берковичи и вице-президент Upwork по инженерии платформенной инфраструктуры Судханшу Бист показали, почему такой расчёт затруднителен. По словам Биста, ИИ-шлюз Upwork отслеживает расходы на модели и распределяет их по командам и сервисам, но не учитывает затраты на обучение и дообучение, человеческие усилия на исправление результатов и ресурсы CPU, потребляемые вызовами инструментов. Эти затраты учитываются в отдельных системах, из-за чего полную стоимость результата измерить сложнее.

Почему роям ИИ-агентов нужны быстрый KV-кэш и долгосрочное хранение контекста

«В реальной эксплуатации никогда не было такого понятия, как агент, — сказал Берковичи. — Их всегда было много».

В развёртываниях либо координируются несколько агентов, либо один агент порождает подзадачи, которые сами ведут себя как агенты. Когда работа переходит от одного к другому, агентам нужен доступ к уже построенному контексту.

Такие передачи опираются на два вида памяти. Кратковременная память включает KV-кэш, в котором хранятся ключи и значения внимания, вычисляемые моделью для каждого токена. Сохранение этого кэша позволяет модели генерировать последующие токены, не обрабатывая заново всю последовательность. Долговременная память сохраняет контекст прошлых сессий, который может снова понадобиться агенту, когда к нему вернётся пользователь или другой агент.

«Ключевое слово сейчас — хранение, — сказал Берковичи. — Как долго вам нужно будет хранить информацию и очень быстро получать к ней доступ вместо того, чтобы вычислять её заново?»

Агенты, которые никогда не останавливаются, усложняют хранение. «Чёрный октябрь» — недавняя волна взломов, связанных с ИИ, — эксплуатировал уязвимость PHP двадцатилетней давности, и исследователи обнаружили, что атакующий трафик, по-видимому, исходил от автоматизированных агентов, работающих круглосуточно. В ответ защитникам теперь нужны собственные агенты, непрерывно выполняющие фоновые задачи, а значит, оба вида памяти востребованы в любое время суток, и у кластера нет окна простоя, чтобы восстановить контекст.

Компании переплачивают за GPU ради памяти с высокой пропускной способностью

Берковичи назвал память HBM графических процессоров и встроенную SRAM Cerebras «самой дорогой недвижимостью на планете». В научных вычислениях всегда соблюдался баланс между производительностью операций с плавающей точкой и памятью, и сейчас этот баланс нарушен. Длинные контексты и рои агентов потребляют память так быстро, что покупатели в итоге платят за вычислительные мощности, которые не используют.

Проблема, похоже, в капитале, сказал Берковичи, пояснив, что китайские лаборатории работают в условиях аппаратных ограничений, поэтому создают более экономные модели и стеки инференса. Американские компании, особенно в Кремниевой долине, привлекают достаточно денег, чтобы считать наращивание оборудования ответом по умолчанию. Фраза гендиректора Nvidia Дженсена Хуанга «Чем больше покупаешь, тем больше экономишь» на самом деле вводит в заблуждение.

«Не совсем так, — сказал Берковичи. — Чем больше покупаешь, тем больше используешь».

Ценовая политика DeepSeek сделала эту привычку дорогой. Конкурентам, которые хотят сравняться с ней по цене за токен, приходится перестать платить за дублирующую работу prefill, а значит — хранить вычисленный контекст где-то дешевле HBM и загружать его обратно, когда он понадобится агенту.

Инференс ИИ переносит KV-кэш из памяти GPU в общее хранилище

Разработчики часто смешивают два значения слова «память»: когда создатели агентов говорят о памяти, они обычно имеют в виду логическую конструкцию — базу данных, файловую систему, граф знаний или векторное хранилище, которые подают контекст в промпт. Аппаратное значение охватывает состояние, которое модель генерирует при обработке этого промпта, начиная с KV-кэша.

Это состояние проходит через три аппаратных уровня. Первый — память HBM графического процессора: быстрая и дорогая, с ограниченным местом для кэшированного контекста по мере поступления новых запросов. Второй — память сервера, которая даёт больше ёмкости, но удерживает кэшированное состояние на одной машине. Третий — общее флеш-хранилище, способное сохранять контекст между сессиями и делать его доступным во всём кластере.

Хранение контекста в общем хранилище позволяет совместимым системам загружать ранее вычисленное состояние вместо его повторного построения, оставляя GPU работу над новыми токенами. Чтобы показать, сколько места может требовать такой рабочий контекст, Берковичи привёл в пример кластер DeepSeek объёмом 100 пебибайт.

«Это рабочая память ИИ, рабочая долговременная и кратковременная память ИИ, — сказал Берковичи. — Это не хранилище в том смысле, в каком мы с вами знали его раньше».

Возврат циклов GPU ради производительности и эффективности

Изменения в программном обеспечении также позволяют вернуть циклы GPU, которые нынешние развёртывания тратят впустую. Мегаядра объединяют операции в конвейере инференса, сокращая накладные расходы на передачу работы между ними. Cerebras, SambaNova, d-Matrix и Groq создали специализированные чипы для инференса, выдающие одному пользователю тысячи токенов в секунду. По словам Берковичи, мегаядра могут помочь графическим процессорам Nvidia и AMD приблизиться к таким скоростям, если операторы ставят быстрые ответы отдельным пользователям выше обслуживания большего числа пользователей одновременно.

«Мы управляем миллионами параллельных ядер на стойку, тогда как раньше в случае CPU речь шла о тысячах, — сказал Берковичи. — Оркестровать миллионы процессов каждые несколько микросекунд не так-то просто, поэтому на столе по-прежнему остаётся огромный резерв производительности и эффективности, который мы пока не используем».

Полный текст статьи читайте на VentureBeat.ru