В Sandisk уверены: главным компонентом ИИ-инфраструктуры станет память, а не процессоры
Сегмент ИИ молод в контексте истории всей полупроводниковой отрасли, но его эволюционные изменения уже оказывают на неё весьма сильное влияние. В последнее время всё больше разговоров ведётся о растущей роли центральных процессоров в операциях инференса, но руководство Sandisk полностью уверено, что решающую роль в инфраструктуре ИИ будет играть память.
Источник изображения: SK hynix
Данную точку зрения выразил в своём интервью Nikkei Asian Review технический директор и исполнительный вице-президент Sandisk Алпер Илкбахар (Alper Ilkbahar). По его словам, в развитии инфраструктуры ИИ нельзя целиком полагаться только на GPU и CPU, поскольку даже принципы работы человеческого мозга указывают на важную роль памяти в подобных системах. «Нас определяют наши воспоминания. Каждый раз, изучая что-то новое, вы становитесь другим человеком. Буквально, ваш мозг изменяется на физическом уровне, и вы следуете этому правилу. По сути, мы являемся совокупностью наших воспоминаний», — пояснил представитель Sandisk.
Значимость памяти возрастает сразу по нескольким причинам, как он считает. Во-первых, большие языковые модели становятся всё более сложными, и для работы с ними требуется всё больше памяти. Во-вторых, ИИ-системы популярных разработчиков всё больше полагаются на кеш «ключ — значение», который выступает в роли краткосрочной памяти, позволяя помнить предыдущие запросы пользователя, а не обрабатывать весь запрос с самого начала при появлении уточняющих вопросов. Скорость и эффективность работы моделей растут благодаря применению такого подхода, но, поскольку контекст постоянно увеличивается в объёме, для работы с ним требуется всё больше памяти.
Отрасль при этом движется в сторону использования подхода «смесь экспертов», когда внутри одной крупной ИИ-модели содержится несколько более мелких, каждая из которых может вызываться для обработки строго специфических запросов. Упор делается на работу с более крупными объёмами данных, а вычисления прогрессируют не так заметно, по словам вице-президента Sandisk. Спрос на продукцию компании в таких условиях весьма высок. Клиенты сами готовы заключать долгосрочные контракты и делать авансовые платежи, получая взамен уверенность в способности получить нужный объём памяти к конкретному периоду. Только за последнее время Sandisk заключила долгосрочные контракты на поставку памяти сроком до пяти лет на общую сумму около $42 млрд. Ранее о такой структуре контрактов Sandisk не могла и мечтать.
Руководство компании верит в перспективы HBF — нового типа твердотельной памяти, которая имеет вертикальную компоновку, как HBM, и при этом предлагает сопоставимую пропускную способность. В условиях развития инференса именно такая память будет оптимальным образом обслуживать потребности ИИ-инфраструктуры. В разработке стандартов HBF компания сотрудничает с южнокорейской SK hynix. Прототип кристалла HBF будет готов к концу текущего года, а полноценная память HBF с контроллером будет представлена в следующем году. Соглашение с Kioxia позволяет Sandisk совместно использовать японские производственные мощности этой компании до 2032 года, как минимум.
© 3DNews
