Замена ускорителей NVIDIA на процессоры Intel целесообразна лишь в узком спектре задач
И без них полноценно работать с большими языковыми моделями невозможно.
Южнокорейский интернет-гигант Naver недавно объявил о своих намерениях использовать вместо ускорителей NVIDIA в своих серверных системах центральные процессоры Intel Xeon из-за дефицита первых, но эксперты Bernstein в целом скептически отнёсся к целесообразности такой замены. Даже с учётом более высокой стоимости ускорителей NVIDIA, они остаются более эффективным решением с точки зрения удельных затрат на решение вычислительных задач.
Источник изображения: NVIDIA
Полноценно заменить ускорители NVIDIA при помощи сколь угодно большого количества центральных процессоров Intel в рамках разумного бюджета невозможно, поясняют аналитики. Эти процессоры эффективны только для формирования логических выводов и работы с языковыми моделями, использующими весьма ограниченное количество параметров. Если основная языковая модель Naver использует примерно 200 млрд параметров, то подсистема на базе процессоров Intel сможет работать лишь с 5% этой модели в лучшем случае. Использовать такую аппаратную платформу для обучения системы уже не получится. Наиболее эффективно сочетать центральные процессоры со специализированными ускорителями, как резюмируют эксперты Bernstein.
