ИИ «съедает» CPU: AWS впервые столкнулась с нехваткой процессорных мощностей
В мае Amazon Web Services выпустила предупреждение для своей инженерной команды, настоятельно призывая их экономить вычислительные ресурсы CPU. Эта информация стала известна СМИ только сейчас.
Срок выделения серверных мощностей на базе CPU внутри Amazon Web Services для внутренних задач инженеров действительно увеличился с нескольких часов до нескольких дней. Это связано с растущим дефицитом вычислительных ресурсов на фоне бума ИИ и агентских систем. Один инженер рассказал, что с такой задержкой он никогда раньше не сталкивался за свою карьеру.
Чтобы расставить приоритеты в вычислительных мощностях для внешних клиентов, AWS постепенно отключает виртуальные серверы, которые ранее использовались для разработки программного обеспечения и теперь простаивают. Это еще больше сократило ресурсное пространство внутренних команд, что привело к значительному увеличению времени ожидания в очереди приложений.
Изображение Grok
Поскольку дефицит графических процессоров до сих пор не решен, центральные процессоры стали новым узким местом. Основная причина этой волны нагрузки на CPU — быстрое распространение приложений с использованием ИИ-агентов. Консалтинговая компания Elendil Labs, специализирующаяся на ИИ, утверждает, что средние ИТ-затраты на одного клиента удвоились, и поскольку предприятия широко внедряют ИИ-агентов, почти все задачи требуют больше ресурсов ЦП, чем раньше.
Процессоры (CPU) одинаково незаменимы в процессе разработки ИИ; при обучении моделей и подготовке данных процессорам по-прежнему необходимо считывать необработанные данные из файлов и изображений. Анализ показывает, что агентам ИИ часто требуется доступ к большему количеству облачных ресурсов, чем раньше, при выполнении задач, что создает постоянную нагрузку на процессоры.
Заявления производителей чипов подтверждают эту тенденцию. Генеральный директор Intel Чен Ливу заявил в апреле, что соотношение использования CPU и GPU в сценариях вывода ИИ составляет приблизительно 1:4. К июлю финансовый директор Intel указал, что это соотношение быстро сократилось почти до 1:1.
Руководители AMD и Arm недавно сделали аналогичные заявления, указав на то, что рост спроса на процессоры превзошел ожидания отрасли.
© iXBT
