Компании начали считать деньги при внедрении ИИ, во многих случаях оно замедляется
В сфере внедрения генеративного искусственного интеллекта, как отмечает Financial Times, наметились важные структурные изменения, которые заставляют клиентов пересматривать свой подход к финансированию процесса. Агентские решения вызывают рост расходов корпораций, и теперь они начали более вдумчиво оплачивать внедрение ИИ.
Источник изображения: Anthropic
Во многом такому перелому способствовала политика разработчиков ИИ типа OpenAI и Anthropic, которые после анализа собственных затрат поняли, что субсидируют многих клиентов, предоставляя им почти неограниченный доступ к вычислительным ресурсам в рамках подписки. Многие клиенты потребляют так много токенов, что расходы не покрываются выплатами в форме абонентской платы. Переход на соразмерную оплату потребляемых вычислительных ресурсов ужаснул многих клиентов. Например, небольшой разработчик ПО Workato после перехода на пропорциональную оплату токенов столкнулся с тем, что расходы на оплату услуг провайдеров ИИ в первый день выросли в семь раз. С этим явно нужно было что-то делать, и руководство компании стало два раза в неделю анализировать возможности сэкономить на использовании ИИ.
В целом, как отмечает Financial Times, тактика потребителей систем ИИ сводится как к ограничению использования сторонних инструментов, за которые надо платить, так и к поиску более дешёвых альтернатив. В некоторых случаях последними становятся либо разворачиваемые на собственной инфраструктуре ИИ-модели с открытым исходным кодом, либо более доступные системы тех же китайских разработчиков. В условиях удалённого доступа китайские решения могут быть дешевле хотя бы в силу более низких тарифов на электроэнергию в КНР. С начала этого года китайские ИИ-модели обошли американских по объёму потребления токенов.
Некоторые представители бизнеса ввели лимиты расходов на использование стороннего ИИ своими сотрудниками. Например, в Uber данная сумма ограничена $1500 на одного сотрудника в месяц. Расходы выросли по мере перехода пользователей от простого взаимодействия с чат-ботами к применению множественных ИИ-агентов. На одного человека в организации могут приходиться от 10 до 10 000 агентов, и все они непрерывно потребляют токены, за которые нужно платить. Аналитики Goldman Sachs ожидают, что к 2030 году потребление ИИ-токенов вырастет в 24 раза, и это само по себе усугубит дефицит чипов в ближайшие полтора года.
Даже располагающие собственной вычислительной инфраструктурой компании типа Amazon (AWS) начали следить за эффективностью использования ресурсов. Этот облачный гигант начал бороться с фиктивной демонстрацией бурной ИИ-деятельности некоторыми сотрудниками, которые рассчитывали продемонстрировать руководству лояльность идее всеобщего погружения в такую активность. Meta✴ пришлось последовать примеру конкурента в апреле этого года. В любом случае, даже Amazon и Meta✴ зависят от сторонних провайдеров типа Anthropic, за услуги которых надо платить по коммерческим ставкам.
Microsoft начала предлагать стремящимся к оптимизации затрат на ИИ клиентам новую услугу, позволяющую оптимальным образом выбирать используемые средства. Если для решения поставленной задачи достаточно ограничиться применением более дешёвой модели, то она поручается именно ей, а не отправляется по наиболее дорогому для клиента маршруту. Иногда при ручной маршрутизации запросов компании предпочитают использовать более старые и дешёвые ИИ-модели, не гонясь за самыми прогрессивными. При всём этом внутри компаний всегда находятся пользователи, которым не хватает вычислительных ресурсов для решения своих задач. Публичным компаниям становится сложнее оправдывать растущие расходы на ИИ перед акционерами и инвесторами.
© 3DNews
