BNY отслеживает расходы на токены ИИ, чтобы избежать переплаты
- BNY отслеживает расход токенов и направляет задачи подходящим моделям, не используя дорогие модели для дешёвых запросов.
- Банк использует около 400 ИИ-агентов; ИИ составляет часть годового технологического бюджета в 4 млрд долларов.
- В июле финансовый директор говорил, что BNY не отслеживает токены и сосредоточен на результатах.
Почему это важно: Компании тратят на ИИ всё больше, поскольку агенты расходуют гораздо больше токенов, несмотря на снижение цены за токен.
BNY создал инструменты, позволяющие отслеживать расход ИИ-токенов и направлять задачи наиболее подходящим моделям, рассказал финансовый директор Дермот Макдоно в эфире Bloomberg Television. Банк использует около 400 ИИ-агентов и тратит на технологии 4 млрд долларов в год. Банки испытывают давление из-за растущих расходов на ИИ.
BNY создал инструменты, позволяющие отслеживать, сколько банк тратит на ИИ, и направлять каждую задачу наиболее подходящей модели, рассказал финансовый директор Дермот Макдоно в эфире Bloomberg Television. Цель — избежать перерасхода на фоне роста затрат на ИИ.
»Мы стали весьма дисциплинированными и разработали довольно сложную телеметрию, чтобы отслеживать, как мы тратим и используем наши токены», — сказал Макдоно.
»Мы не используем дорогие модели для дешёвых запросов», — добавил он. По его словам, направление задач нужной модели будет приобретать всё большее значение »со временем, когда затраты начнут играть роль».
BNY использует модели крупных облачных провайдеров и не привязан ни к одному из них, отметил Макдоно. Это так, несмотря на то что генеральный директор BNY Робин Винс в июле вошёл в совет директоров OpenAI. Банк использует около 400 ИИ-агентов, а ИИ составляет лишь часть его годового технологического бюджета в 4 млрд долларов.
Компании платят за ИИ всё больше, даже несмотря на снижение цены за токен, поскольку ИИ-агенты расходуют гораздо больше токенов. В июне генеральный директор Commonwealth Bank of Australia предупредил о росте счетов, а в июле Atlassian ввела для своих инженеров ежемесячные бюджеты на ИИ.
Эти заявления знаменуют смену тона BNY. В июле Макдоно говорил Fortune, что банк не отслеживает использование токенов и вместо этого сосредоточен на результатах:»Это не то, на обсуждение чего мы тратим время».
Он по-прежнему не хочет, чтобы контроль затрат сдерживал использование ИИ.»Мы не говорим об этом в контексте эффективности или сокращения рабочих мест, — сказал он. — Мы говорим об этом в контексте повышения квалификации и стремления делать что-то лучше».
Другие банки откровеннее говорят о сокращениях. Генеральный директор Citi Джейн Фрейзер заявила в июле, что в банке уже начались потери рабочих мест из-за ИИ.
