Темы



Инфраструктура ИИ и вычислительные мощности: 48% организаций, использующих ИИ в промышленной эксплуатации, называют платформу Google своей основной платформой для ИИ — это более чем вдвое превышает долю OpenAI

Коротко сгенерировано ИИ по тексту статьи
  • Среди организаций с ИИ в производстве 48% назвали основной платформой Gemini или Google Cloud, 22% — OpenAI.
  • Отдачу от расходов тщательно отслеживают 64% окончательных закупщиков ИИ против 34% остальных респондентов.
  • В следующие 12 месяцев 35% опрошенных намерены оценивать специализированные облака для ИИ, а 26% — ускорители не от Nvidia.

Почему это важно: Покупка моделей и облачных услуг у одной компании может упростить договорную работу и обработку данных, но привязывает большую часть ИИ-стека к одному поставщику.

В августе VentureBeat Intelligence опросила респондентов из организаций, в которых работают не менее 100 человек. Мы спросили, как они выбирают, эксплуатируют и оценивают свою ИИ-инфраструктуру. Среди респондентов, использующих ИИ в производственной среде, Google Gemini и Google Cloud вместе называют основной ИИ-платформой более чем вдвое чаще, чем OpenAI.

Google называют основной ИИ-платформой чаще, чем любую другую компанию. Среди респондентов, использующих ИИ в производственной среде и указавших основную платформу, которой они действительно пользуются, 48% назвали основной ИИ-платформой продукт Google — Gemini или Google Cloud. Для 22% основной платформой стала OpenAI, для 13% — Microsoft Azure.

Лидерство Google объясняется тем, что в его долю входят две платформы, занимающие высокие места в своих категориях: Gemini среди моделей и Google Cloud среди облачных сервисов. Среди респондентов, использующих ИИ в производственной среде, Gemini используют 53%, а OpenAI — 56%; разница слишком мала, чтобы говорить о явном лидере. Google Cloud используют 34%, а Microsoft Azure — 37%; здесь разница также слишком мала для однозначного вывода.

Если учитывать любое использование, хотя бы одну платформу Google применяют 65% респондентов, использующих ИИ в производственной среде. OpenAI используют 56%, Azure — 37%. Разрыв между Google и Azure по этому показателю достаточно велик, чтобы говорить о лидерстве Google. Разрыв между Google и OpenAI слишком мал для однозначного вывода.

Утверждения о том, что отдачу от расходов на ИИ-инфраструктуру тщательно отслеживают, чаще всего исходят от тех, кто принимает окончательное решение о закупках ИИ. На лиц, принимающих окончательные решения, приходится 62% респондентов, заявивших о тщательном отслеживании отдачи.

Среди лиц, принимающих окончательные решения о закупках ИИ, 64% говорят, что их организация тщательно отслеживает отдачу от расходов на ИИ-инфраструктуру. Среди всех остальных респондентов таких 34%. В июльском опросе наблюдался аналогичный разрыв.

Среди респондентов, использующих ИИ в производственной среде, те, кто заявляет о тщательном отслеживании отдачи, также выше оценивают соотношение цены и качества своей платформы. Те, кто тщательно отслеживает отдачу, оценивают соотношение цены и качества в среднем на 4,24 балла из 5, остальные — на 3,50. Мы не можем определить, повышает ли отслеживание отдачи оценку или же довольные покупатели охотнее называют свой подход к отслеживанию тщательным.

Среди респондентов, использующих ИИ в производственной среде и указавших значение, 80% оценили среднюю загрузку ускорителей в 50% или ниже.

Немногие респонденты называют цену за единицу одним из факторов при покупке. Лишь 11% указали стоимость за 1 млн токенов как фактор выбора, тогда как 40% назвали интеграцию с уже используемой облачной инфраструктурой или стеком данных.

На вопрос, какой из новых вариантов вычислительных ресурсов организация с наибольшей вероятностью будет оценивать в следующие 12 месяцев, 35% респондентов назвали специализированные облачные платформы для ИИ, такие как CoreWeave, Lambda, Crusoe и Nebius. Ускорители не от Nvidia назвали 26%.

Вывод 1. 48% респондентов, использующих ИИ в производственной среде, называют основной платформой продукт Google — это более чем вдвое превышает долю OpenAI

Google — единственная компания, у которой платформа занимает высокое место и в списке моделей, и в списке облачных сервисов; при этом Gemini и Google Cloud по отдельности идут практически вровень с ближайшими конкурентами.

Основная ИИ-платформа — это сервис, на который организация прежде всего опирается при выполнении задач ИИ: поставщик моделей, облачная платформа или собственная инфраструктура. Одни компании продают только модели ИИ, тогда как крупные облачные провайдеры также предлагают собственные модели. Среди облачных провайдеров в опросе вариант модели был указан только для Google. Покупка моделей и облачных услуг у одной компании может упростить договорную работу и обработку данных, но привязывает большую часть стека ИИ к одному поставщику.

Мы спросили, какими вычислительными платформами для ИИ организация пользуется в производственной среде, разрешив выбрать несколько вариантов, а также попросили указать основную платформу. Здесь приводятся ответы респондентов, чьи организации используют ИИ в производственной среде — масштабно или для отдельных задач.

Вывод 1 — 48% респондентов, использующих ИИ в производственной среде, называют основной платформой продукт Google — это более чем вдвое превышает долю OpenAI

Google (Gemini или Google Cloud)
Основная платформа
Используется в производственной среде
Основная платформа
Используется в производственной среде
Microsoft (Azure)
Основная платформа
Используется в производственной среде
Oracle (Oracle Cloud Infrastructure)
Основная платформа
Используется в производственной среде
Amazon (AWS)
Основная платформа
Используется в производственной среде
Основная платформа
Используется в производственной среде
Собственный стек с открытым исходным кодом, управляемый самостоятельно
Основная платформа
Используется в производственной среде

Основная платформа: выборка — 54 респондента, использующих ИИ в производственной среде и указавших в качестве основной платформу, которую они отметили как используемую в производственной среде; каждый выбрал один вариант. В долю Google входят Gemini (28%) и Google Cloud (20%). В методологии приведены показатели по всем 68 респондентам.

Использование в производственной среде: выборка — 68 респондентов, чьи организации используют ИИ в производственной среде. Можно было выбрать несколько вариантов, поэтому сумма долей превышает 100%.

Среди респондентов, использующих ИИ в производственной среде и назвавших основную платформу, которой они пользуются, 48% указали Gemini или Google Cloud. Для 22% основной платформой стала OpenAI, для 13% — Microsoft Azure. Доля Google более чем вдвое превышает долю OpenAI и почти вчетверо — долю Azure; оба разрыва достаточно велики для однозначного вывода.

Что касается использования, хотя бы одну платформу Google применяют 65% респондентов, использующих ИИ в производственной среде; для OpenAI этот показатель составляет 56%, для Azure — 37%. Преимущество Google над Azure достаточно велико, чтобы говорить о явном лидерстве, однако разница между Google и OpenAI слишком мала для однозначного вывода.

Вывод 1 — поставщик моделей, используемый в производственной среде

Google (Gemini)

Выборка: 68 респондентов, чьи организации используют ИИ в производственной среде. Можно было выбрать несколько вариантов, поэтому сумма долей превышает 100%.

Вывод 1 — облачный провайдер, используемый в производственной среде

Microsoft Azure
Google Cloud (GCP)
Oracle Cloud Infrastructure

Выборка: 68 респондентов, чьи организации используют ИИ в производственной среде. Можно было выбрать несколько вариантов, поэтому сумма долей превышает 100%. Специализированные облака для ИИ, такие как CoreWeave, Lambda, Crusoe и Nebius, используют 9%; они не показаны.

Также не показаны: Baseten, Anyscale, Fireworks или Together (9%), собственные стеки с открытым исходным кодом, управляемые самостоятельно (9%), а также локальные или размещённые в дата-центрах GPU-кластеры (4%).

Лидерство Google объясняется тем, что в его долю входят две платформы, занимающие высокие места в своих категориях; ни у одной другой компании нет платформы, которая была бы среди лидеров в обеих категориях. Среди респондентов, использующих ИИ в производственной среде, Gemini применяют 53%, а OpenAI — 56%. Google Cloud используют 34%, а Azure — 37%. В обоих случаях разница слишком мала для однозначного вывода.

По доле основных платформ Gemini практически не отличается от OpenAI, а Google Cloud — от Azure. Среди респондентов, назвавших основной платформу, которой они пользуются, Gemini стала основной для 28%, а OpenAI — для 22%. Google Cloud назвали основной платформой 20%, а Azure — 13%.

Вывод 2. Лица, принимающие окончательные решения, почти вдвое чаще остальных говорят, что отдачу от расходов на ИИ-инфраструктуру тщательно отслеживают

Среди лиц, принимающих окончательные решения о закупках ИИ, 64% говорят, что их организация тщательно отслеживает отдачу от расходов на ИИ-инфраструктуру. Среди всех остальных респондентов таких 34%.

Отслеживать отдачу от ИИ-инфраструктуры — значит сопоставлять расходы организации на вычислительные ресурсы с результатами этих расходов, например выручкой, экономией или ускорением работы. Без такой связи команде сложнее понять, какие задачи оправдывают затраты, а от каких стоит отказаться. В итоге бюджетные решения основываются на оценках.

Мы спросили, может ли организация сейчас количественно оценить отдачу от расходов на ИИ-инфраструктуру. Среди всех респондентов 48% заявили, что тщательно отслеживают её, 38% — что отслеживают частично, а 15% пока не могут её оценить.

Вывод 2 — лица, принимающие окончательные решения, почти вдвое чаще остальных говорят, что отдачу от расходов на ИИ-инфраструктуру тщательно отслеживают

Да, мы тщательно отслеживаем отдачу
Нет, мы пока не можем её оценить

Выборка: 109 респондентов. Каждый выбрал один вариант.

Вывод 2 — говорят, что отдачу тщательно отслеживают

Лица, принимающие окончательные решения о закупках ИИ, август (50 респондентов)
Все остальные респонденты, август (59 респондентов)
Лица, принимающие окончательные решения о закупках ИИ, июль (61 респондент)
Все остальные респонденты, июль (97 респондентов)
Респонденты, использующие ИИ в масштабах организации, август (28 респондентов)
Респонденты, не использующие ИИ в масштабах организации, август (81 респондент)
Лица, принимающие окончательные решения и не использующие ИИ в масштабах организации, август (33 респондента)
Остальные респонденты, не использующие ИИ в масштабах организации, август (48 респондентов)

Выборки: 109 респондентов в августе; 158 респондентов в июле, ответивших на оба вопроса. Размеры групп указаны в последнем столбце.

Лица, принимающие окончательные решения о закупках ИИ, говорят, что их организация тщательно отслеживает отдачу почти вдвое чаще остальных. В июльском опросе наблюдался аналогичный разрыв: 62% среди лиц, принимающих окончательные решения, против 35% среди остальных.

Респонденты из организаций, использующих ИИ в масштабах всей организации, чаще заявляют о тщательном отслеживании отдачи: 71% против 40% среди остальных. Разрыв между лицами, принимающими окончательные решения, и другими респондентами не объясняется только тем, что первые используют ИИ в масштабах организации.

Среди респондентов из организаций, которые пока не используют ИИ в масштабах всей организации, о тщательном отслеживании отдачи заявили 61% лиц, принимающих окончательные решения, против 25% остальных.

Большинство утверждений о тщательном отслеживании отдачи исходит от лиц, принимающих окончательные решения. Они составляют 46% всех респондентов, но 62% респондентов, заявивших, что отдача тщательно отслеживается.

Мы не можем сказать, почему две группы отвечают по-разному. Лица, принимающие окончательные решения, могут видеть показатели, недоступные остальным сотрудникам организации. Кроме того, они могут оценивать закупку, которую сами и совершили.

Вывод 3. Респонденты, использующие ИИ в производственной среде и тщательно отслеживающие отдачу, выше оценивают соотношение цены и качества своей платформы

Среди респондентов, использующих ИИ в производственной среде, те, кто заявляет о тщательном отслеживании отдачи, оценивают соотношение цены и качества основной платформы на 4,24 балла из 5. Остальные — на 3,50.

Оценка соотношения цены и качества показывает, как покупатель сопоставляет стоимость платформы с тем, что она даёт. Она зависит от того, что покупатель может оценить в обеих составляющих, включая данные об отдаче от расходов.

Мы попросили респондентов оценить основную вычислительную платформу для ИИ по шкале от 1 (очень плохо) до 5 (отлично) по трём параметрам: общая удовлетворённость, простота внедрения и соотношение цены и качества. Здесь приводятся оценки респондентов, чьи организации используют ИИ в производственной среде — масштабно или для отдельных задач.

Вывод 3 — респонденты, использующие ИИ в производственной среде и тщательно отслеживающие отдачу, выше оценивают соотношение цены и качества своей платформы

Общая удовлетворённость
Тщательно отслеживают отдачу (34)
Все остальные (34)
Все респонденты, использующие ИИ в производственной среде (68)
Простота внедрения
Тщательно отслеживают отдачу (34)
Все остальные (34)
Все респонденты, использующие ИИ в производственной среде (68)
Соотношение цены и качества
Тщательно отслеживают отдачу (34)
Все остальные (34)
Все респонденты, использующие ИИ в производственной среде (68)

Выборка: 68 респондентов, чьи организации используют ИИ в производственной среде; размеры групп указаны в скобках. Средние оценки по шкале от 1 (очень плохо) до 5 (отлично).

Среди всех респондентов, использующих ИИ в производственной среде, средняя оценка соотношения цены и качества составляет 3,87, простоты внедрения — 4,06, а общей удовлетворённости — 4,15. Разница между двумя группами составляет около 0,75 балла по соотношению цены и качества и общей удовлетворённости. По простоте внедрения разрыв — около 0,6 балла. В целом 85% тех, кто тщательно отслеживает отдачу, поставили соотношению цены и качества 4 или 5 баллов; среди остальных таких 56%.

В июльском опросе наблюдалась такая же тенденция по соотношению цены и качества, общей удовлетворённости и простоте внедрения. Среди всех участников июльского опроса те, кто тщательно отслеживает отдачу, оценили соотношение цены и качества на 4,22 балла, остальные — на 3,62.

Мы не можем определить направление причинно-следственной связи. Измерение отдачи может помочь команде понять, что дают ей расходы. Но команда, уже довольная своими расходами, также может охотнее назвать отслеживание отдачи тщательным. В выводе 2 показано, кто чаще всего заявляет о таком отслеживании.

Вывод 4. 80% респондентов, использующих ИИ в производственной среде и указавших показатель загрузки, оценили загрузку ускорителей в 50% или ниже

Среди респондентов, использующих ИИ в производственной среде и указавших показатель загрузки, 80% оценили среднюю загрузку GPU или других ускорителей в 50% или ниже, а 40% — в 25% или ниже.

Загрузка ускорителей — это доля времени, в течение которого GPU организации или другие чипы для ИИ выполняют полезную работу. Собственные или зарезервированные ускорители стоят денег, даже когда не работают, поэтому низкая загрузка означает, что организация платит за чипы, которые ничего не производят. Загрузка может снижаться, если ресурсы резервируют под пиковый спрос.

Мы спросили о средней загрузке GPU или ускорителей организации в производственной среде. Здесь приводятся ответы респондентов, чьи организации используют ИИ в производственной среде — масштабно или для отдельных задач.

Вывод 4 — 80% респондентов, использующих ИИ в производственной среде и указавших показатель загрузки, оценили загрузку ускорителей в 50% или ниже

Мы не измеряем этот показатель
У нас нет собственных GPU, мы используем их через API

Выборка: 68 респондентов, чьи организации используют ИИ в производственной среде. Каждый выбрал один вариант. Основа для долей в тексте: 65 респондентов, указавших показатель, или 45 человек без тех, кто назвал только поставщиков моделей через API.

Лишь 20% респондентов, использующих ИИ в производственной среде и указавших показатель, сообщили о загрузке выше 50%. Если исключить респондентов, которые указали в качестве производственных платформ только поставщиков моделей через API, 78% остальных сообщили о загрузке на уровне 50% или ниже. Следовательно, результат не зависит от этой группы.

Разница в загрузке между респондентами, использующими ИИ в масштабах организации, и теми, у кого в производственной среде работают отдельные задачи, слишком мала для однозначного вывода. Среди указавших показатель загрузку выше 50% отметили 29% респондентов, использующих ИИ в масштабах организации, против 14% среди остальных.

В исследованиях телеметрии используется другая методика. В отчёте Cast AI «Состояние оптимизации Kubernetes за 2026 год» средняя загрузка GPU в изученных кластерах Kubernetes составила 5%. Показатель Cast AI относится к другим организациям, поэтому эти данные нельзя сравнивать.

Вывод 5. Лишь 11% респондентов называют стоимость за 1 млн токенов фактором при выборе ИИ-инфраструктуры

Интеграцию с уже используемой облачной инфраструктурой или стеком данных как фактор покупки назвали 40% респондентов, а стоимость за 1 млн токенов — 11%.

Стоимость за 1 млн токенов — это цена, которую провайдер берёт за обработку миллиона токенов, то есть единиц текста, которые модель читает и генерирует. Этот показатель упрощает сравнение провайдеров, но итоговый счёт также зависит от количества токенов, используемых задачей, и от окружающей её инфраструктуры. Интеграция с уже имеющейся облачной инфраструктурой или стеком данных определяет, сколько сопутствующей работы придётся выполнить команде.

Мы спросили, какие факторы сильнее всего повлияли на выбор организацией ИИ-инфраструктуры; можно было выбрать несколько вариантов.

Вывод 5 — лишь 11% респондентов называют стоимость за 1 млн токенов фактором при выборе ИИ-инфраструктуры

Интеграция с уже используемой облачной инфраструктурой или стеком данных
Производительность (задержка, пропускная способность)
Требования к безопасности или соответствию нормативам
Совокупная стоимость владения
Тонкая автоматическая масштабируемость для неравномерных рабочих нагрузок
Стоимость за 1 млн токенов

Выборка: 109 респондентов. Можно было выбрать несколько вариантов, поэтому сумма долей превышает 100%. Седьмой вариант не приводится; объяснение дано в методологии.

Интеграцию с уже имеющимся стеком назвали 40% респондентов, производительность — 37%, а требования к безопасности или соответствию нормативам — 34%. Совокупную стоимость владения указали 26%.

Стоимость за 1 млн токенов назвали 11% респондентов против 40%, указавших интеграцию с уже имеющимся стеком.

Вывод 6. Время бесперебойной работы и производительность разработчиков — главные показатели оценки ИИ-инфраструктуры; они опережают любые специфичные для ИИ метрики

Время бесперебойной работы отслеживают 56% респондентов, производительность разработчиков — 46%. Это больше, чем доля тех, кто следит за задержкой (28%) — самой распространённой метрикой, специфичной для ИИ.

Отслеживаемые командой метрики определяют, какие проблемы она замечает. Время бесперебойной работы и производительность разработчиков показывают, остаются ли системы доступными и быстро ли команды выпускают новые решения. Специфичные для ИИ метрики, например время до первого токена, количество токенов в секунду и стоимость за 1 млн токенов, показывают, как быстро модель начинает отвечать, сколько она выдаёт и во что обходится каждый ответ. Команда, которая отслеживает только общие показатели, может не заметить, что ИИ-задача выполняется, но медленно или дорого.

Мы спросили, какие метрики организация использует, чтобы оценить работу своей ИИ-инфраструктуры; можно было выбрать несколько вариантов.

Вывод 6 — время бесперебойной работы и производительность разработчиков — главные показатели оценки ИИ-инфраструктуры; они опережают любые специфичные для ИИ метрики

Время бесперебойной работы или надёжность
Производительность разработчиков или скорость развёртывания
Задержка (время до первого токена)
Пропускная способность (токенов в секунду, QPS)
Стоимость за 1 млн токенов

Выборка: 108 респондентов, ответивших на вопрос. Можно было выбрать несколько вариантов, поэтому сумма долей превышает 100%. Два ответа в свободной форме не показаны.

Время бесперебойной работы и производительность разработчиков отслеживают чаще, чем задержку, показатель которой составляет 28%. Ни время бесперебойной работы, ни производительность разработчиков не относятся исключительно к ИИ: обе метрики можно применять, например, к базе данных или системе сборки.

Среди респондентов, отслеживающих стоимость за 1 млн токенов, о тщательном отслеживании отдачи сообщили 44%; среди тех, кто не отслеживает стоимость токенов, — 49%. Разница слишком мала для однозначного вывода.

Вывод 7. Среди новых вычислительных решений 35% респондентов с наибольшей вероятностью будут оценивать специализированные облака для ИИ

Специализированные облака для ИИ, такие как CoreWeave, Lambda, Crusoe и Nebius, назвали 35% респондентов, говоря о вариантах для оценки в следующие 12 месяцев; ускорители не от Nvidia — 26%.

Специализированные облака для ИИ, такие как CoreWeave, Lambda, Crusoe и Nebius, сдают в аренду GPU-ресурсы, предназначенные для задач ИИ, — в дополнение к крупным облачным провайдерам или вместо них. Ускорители не от Nvidia, например Google TPU и AWS Trainium, дают доступ к другим ИИ-чипам, главным образом через крупные облачные платформы. Оценка любого из этих вариантов может расширить выбор организации по цене и доступности ресурсов.

Мы спросили, какой новый вычислительный вариант организация с наибольшей вероятностью будет оценивать в следующие 12 месяцев; можно было выбрать один ответ.

Вывод 7 — среди новых вычислительных решений 35% респондентов с наибольшей вероятностью будут оценивать специализированные облака для ИИ

Облака, специализирующиеся на ИИ (CoreWeave, Lambda, Crusoe, Nebius)
Ускорители не от Nvidia (Trainium, TPU, AMD Instinct, Gaudi, собственные ASIC)
Nvidia Blackwell (GB300) или GPU следующего поколения
Ничего из перечисленного
Децентрализованные или распределённые вычислительные сети
Суверенные или региональные вычислительные ресурсы

Выборка: 109 респондентов. Каждый выбрал один вариант.

Вывод 7 — ожидаемые изменения в использовании в следующие 12 месяцев

Специализированные облака для ИИ (100 респондентов)
Будут использовать больше
Будут использовать меньше
API-интерфейсы для инференса (87 респондентов)
Будут использовать больше
Будут использовать меньше
Локальная инфраструктура или размещение оборудования в дата-центре (93 респондента)
Будут использовать больше
Будут использовать меньше
Гиперскейлеры (97 респондентов)
Будут использовать больше
Будут использовать меньше

В выборки входят респонденты, ответившие на вопрос по каждому пункту; остальные сообщили, что будут использовать столько же. В вопросе о специализированных облаках названия провайдеров не приводились.

Специализированные облака для ИИ — единственный вариант, использование которого большинство ответивших планирует нарастить. Среди них 52% ожидают, что в следующие 12 месяцев будут чаще пользоваться специализированными облаками для ИИ.

Большинство респондентов планируют в течение года добавить платформу или заменить существующую. В целом 61% собираются внедрить новую, дополнительную платформу или платформу на замену в следующие 12 месяцев, а 34% планируют сделать это в течение трёх месяцев.

Вывод 7 — планируют внедрить новую, дополнительную платформу или платформу на замену

Да, в течение 0–3 месяцев
Да, в течение 3–6 месяцев
Да, в течение 6–12 месяцев
Не планируем изменений

Выборка: 109 респондентов. Каждый выбрал один вариант.

Вывод 8. 38% респондентов назвали Dell среди решений для памяти при инференсе, 31% — Nvidia, а 17% не указали никакого подхода

Dell назвали 38% респондентов, Nvidia — 31%; при этом 17% не указали никакого подхода и сказали, что пока не решали проблему ограничений памяти при инференсе или не знают о ней.

Когда модель обрабатывает длинный запрос или длительный диалог, она сохраняет промежуточные результаты — так называемый KV-кэш — в памяти, чтобы не пересчитывать их для каждого нового токена. Кэш растёт вместе с длиной контекста и количеством пользователей и конкурирует с моделью за дефицитную память GPU. Теперь поставщики предлагают системы хранения и программное обеспечение, позволяющие переносить кэш с GPU.

Мы спросили, какие решения или продукты для памяти при инференсе и KV-кэша организация использует или оценивает; можно было выбрать несколько вариантов. В начале вопроса отмечалось, что узким местом при инференсе становятся не вычислительные ресурсы GPU, а память. Ответы следует рассматривать в контексте этой формулировки.

Вывод 8 — 38% респондентов назвали Dell среди решений для памяти при инференсе, 31% — Nvidia, а 17% не указали никакого подхода

Dell (PowerScale, Project Lightning)
Nvidia (Dynamo, ICMSP)
Инструменты для KV-кэша с открытым исходным кодом (LMCache, кэширование префиксов в vLLM)
Оптимизация на уровне модели (MLA, квантование)
Hammerspace (Tier Zero)
VAST Data (Undivided Attention)
DDN (Infinia)
WEKA (Augmented Memory Grid)
Пока не решали проблему ограничений памяти при инференсе
Не знаем о таком ограничении

Выборка: 109 респондентов. Можно было выбрать несколько вариантов, поэтому сумма долей превышает 100%.

Инструменты для KV-кэша с открытым исходным кодом назвали 20% респондентов, а оптимизацию на уровне модели — 17%. Hammerspace и VAST Data назвали по 17%, DDN — 11%, WEKA — 9%.

В целом 20% респондентов заявили, что пока не решали проблему ограничений памяти при инференсе или не знают о ней. Из них 14% также назвали решение, которое используют или оценивают. Если исключить этих респондентов, никакого подхода не указали 17%.

Что изменилось с июльского Pulse-опроса

В июльском Pulse-опросе большинство вопросов было сформулировано так же. Можно сравнить пять показателей; лишь один из них изменился достаточно заметно.

Изменения, достаточно заметные для однозначного вывода

Изменения, достаточно заметные для однозначного вывода

22% → 12%
Ожидают, что будут меньше использовать локальную инфраструктуру или размещённые в дата-центре ресурсы

Выборки: респонденты, ответившие на вопрос об использовании локальных ресурсов или размещённых в дата-центре вычислительных ресурсов, — 149 человек в июле и 93 в августе.

Меньше респондентов ожидают сократить использование локальных ресурсов или размещённой в дата-центре инфраструктуры. Доля снизилась с 22% в июле до 12% в августе.

В августе в опросе участвовало меньше представителей технологических компаний и организаций с численностью сотрудников свыше 1 000 человек, чем в июле. Возможно, часть изменений объясняется составом участников.

Изменения, недостаточно заметные для однозначного вывода

Изменения, недостаточно заметные для однозначного вывода

46% → 48%
Говорят, что отдачу тщательно отслеживают
76% → 80%
Загрузка в производственной среде составляет 50% или ниже среди тех, кто указал показатель
60% → 61%
Планируют внедрить новую, дополнительную платформу или платформу на замену в течение 12 месяцев
42% → 52%
Ожидают, что будут больше использовать специализированные облака для ИИ

Разница слишком мала для однозначного вывода: ни одно из этих изменений не проходит проверку, описанную в методологии.

Что мы не сравнивали

Между июлем и августом изменился формат четырёх вопросов. В июльской анкете можно было выбрать не более двух факторов покупки и показателей успеха, а в августовской такого ограничения не было. В июле на вопрос о памяти при инференсе можно было дать один ответ, в августе — несколько. В июльской анкете также разрешалось выбрать несколько вариантов в вопросе о новых вычислительных решениях, и многие участники июльского опроса так и сделали, поэтому мы не сравниваем и этот вопрос.

Мы не сравниваем среднюю оценку соотношения цены и качества с июльской. Июльский показатель относится ко всем участникам июльского опроса, а августовские оценки — только к тем, кто использует ИИ в производственной среде.

Мы не сравниваем с июлем данные об использовании платформ или основных платформах, в том числе о том, как часто основными платформами называли Google, OpenAI и Azure, а также об использовании специализированных облаков для ИИ. Июльские данные о платформах охватывают всех участников июльского опроса, а августовские — только тех, кто использует ИИ в производственной среде, поэтому выборки различаются.

Итог: Google — основная ИИ-платформа для 48% респондентов, использующих ИИ в производственной среде; это более чем вдвое превышает долю OpenAI

Среди респондентов, использующих ИИ в производственной среде и назвавших основную платформу, которой они пользуются, 48% указали Gemini или Google Cloud. Для 22% основной платформой стала OpenAI, для 13% — Microsoft Azure.

Лидерство Google объясняется тем, что в его долю входят две платформы, занимающие высокие места в своих категориях: Gemini среди моделей и Google Cloud среди облачных сервисов. По использованию Gemini и OpenAI, как и Google Cloud и Azure, идут практически вровень. Мы не спрашивали респондентов, почему они выбрали ту или иную основную платформу.

Ещё два вывода касаются того, как организации оценивают расходы на ИИ-инфраструктуру. Среди респондентов, использующих ИИ в производственной среде и указавших показатель загрузки, 80% оценили среднюю загрузку ускорителей в 50% или ниже. Лица, принимающие окончательные решения о закупках ИИ, почти вдвое чаще остальных говорят, что отдачу тщательно отслеживают.

Профиль респондентов

Размер организации

Респонденты

100–250 сотрудников

32% (35)

251–1 000 сотрудников

29% (32)

1 001–5 000 сотрудников

21% (23)

5 001–10 000 сотрудников

6% (6)

10 001 сотрудник или больше

12% (13)

Выборка: 109 респондентов. Каждый выбрал один вариант.

Этап внедрения ИИ

Респонденты

ИИ используется в производственной среде в масштабах организации

26% (28)

Некоторые задачи выполняются в производственной среде

37% (40)

Эксперименты или проверка концепций

33% (36)

ИИ-задачи пока не выполняются

5% (5)

Выборка: 109 респондентов. Каждый выбрал один вариант.

Участие в закупках ИИ

Респонденты

Принимает окончательное решение

46% (50)

Рекомендует или влияет на решение

27% (29)

Пользователь

17% (18)

Не участвует

11% (12)

Выборка: 109 респондентов. Каждый выбрал один вариант.

Должность

Респонденты

Руководитель

47% (51)

Специалист без руководящих функций

22% (24)

Вице-президент или директор

15% (16)

Топ-менеджмент

14% (15)

Другая должность (указана самостоятельно)

3% (3)

Выборка: 109 респондентов. Каждый выбрал один вариант.

Отрасль

Респонденты

Технологии или программное обеспечение

17% (18)

Здравоохранение или медико-биологические науки

17% (18)

Производство

16% (17)

Розничная торговля или электронная коммерция

11% (12)

Финансовые услуги, банковское дело или страхование

9% (10)

Транспорт или логистика

7% (8)

Образование

7% (8)

Государственный или общественный сектор

4% (4)

Телекоммуникации или СМИ

3% (3)

Энергетика или коммунальные услуги

3% (3)

Профессиональные услуги или консалтинг

2% (2)

Другие отрасли (указаны самостоятельно)

6% (6)

Выборка: 109 респондентов. Каждый выбрал один вариант. Ответы в свободной форме классифицировали, если это было понятно: «розничная торговля» и «Walmart» отнесли к розничной торговле, «медсестра» — к здравоохранению, а «транспорт» — к транспортной отрасли.

Методология

В августе VentureBeat Intelligence провела этот опрос VB Pulse и получила 179 ответов. Из них 118 поступили от организаций, в которых работают не менее 100 человек. Девять ответов исключили: респонденты указали, что их организация пока не использует ИИ-задачи, но при этом назвали платформы ИИ, применяемые в производственной среде. Эти два ответа не могут быть верны одновременно. В итоге осталось 109 ответов. Все показатели рассчитаны на основе этих 109 ответов, если для конкретного показателя не указана меньшая выборка.

Респонденты самостоятельно решили участвовать в опросе; это читатели VentureBeat и участники панели, а не вероятностная выборка. Показатели характеризуют этих респондентов и применимы к более широкому рынку лишь в той мере, в какой его состав им соответствует. Среди участников есть представители профессий вне сферы технологий и управления, например воспитатели детских садов и медсёстры.

Респонденты, которые проводят эксперименты или проверяют концепции, также отметили платформы, используемые их организацией в производственной среде. Поэтому показатели использования платформ, оценки платформ и загрузки относятся только к 68 респондентам, чьи организации применяют ИИ в производственной среде — масштабно или для отдельных задач.

При подсчёте показателей по компаниям каждый респондент учитывается один раз для каждой компании. Поэтому респондент, использующий и Gemini, и Google Cloud, засчитывается для Google один раз. В опросе OpenAI и Microsoft Azure предлагались как отдельные варианты; респондентов не спрашивали, обращаются ли они к моделям OpenAI через Azure.

Каждый респондент, чья организация использует ИИ в производственной среде, указал основную платформу, однако 21% назвали платформу, которую не отметили как используемую. Если учитывать всех 68 респондентов, включая эту группу, Google становится основной платформой для 47%, OpenAI — для 22%, а Azure — для 13%.

Седьмой вариант фактора при покупке — доступ к GPU или их наличие — не приводится, поскольку мы не смогли подтвердить, что его видели все респонденты.

В некоторые группы, упомянутые в этом отчёте, вошло менее 40 респондентов: респонденты, использующие ИИ в больших масштабах, — 28; лица, принимающие окончательные решения и не использующие ИИ в больших масштабах, — 33; респонденты, использующие ИИ в промышленной эксплуатации и строго отслеживающие окупаемость, — 34, и ещё 34 респондента; респонденты, у которых некоторые рабочие нагрузки находятся в промышленной эксплуатации и которые указали показатель утилизации, — 37; респонденты, отслеживающие стоимость 1 млн токенов, — 25;, а также респонденты, которые не занимались ограничениями памяти для инференса или не знают о них как о препятствии, — 22. Проценты для таких небольших групп менее точны; для группы из 34 человек результат может отклоняться от истинного значения примерно на 17 процентных пунктов в ту или иную сторону.

Разница между двумя группами или изменение показателя с июля по август считается достаточным для вывода о различии только в том случае, если статистический тест даёт p<0,05; в противном случае разница недостаточна для однозначного вывода. Два процента для разных групп сравниваются с помощью z-критерия для двух долей или точного критерия Фишера, если в одной из групп менее 40 респондентов. Два ответа одних и тех же респондентов, например данные по двум платформам, сравниваются с помощью точного критерия Мак-Немара, а две выборки оценок по шкале от 1 до 5 — с помощью U-критерия Манна — Уитни. Если в отчёте приводится рейтинг ответов на один вопрос без указания, можно ли считать разрыв значимым, рейтинг основан только на числовых показателях.

В июльской анкете на некоторые вопросы с одним вариантом ответа можно было выбрать несколько вариантов, поэтому для сравнения с июлем учитываются только респонденты, выбравшие один вариант. Поэтому некоторые июльские показатели отличаются от приведённых в июльском отчёте: доля строго отслеживающих окупаемость здесь составляет 46% против 47% там, а доля респондентов с утилизацией не выше 50% — 76% против 69%, поскольку в июльском отчёте учитывались все респонденты, использующие GPU.

Состав респондентов изменился с одного месяца на другой. Доля технологических компаний среди респондентов снизилась с 35% в июле до 17% в августе, а доля организаций с числом сотрудников более 1 000 — с 57% до 39%. При сравнении показателей за июль и август эти изменения не учитываются.

Полный текст статьи читайте на VentureBeat.ru