Играемся с RTX 5000 Ada (AD103): первые впечатления28.01.2024 15:30

Картинка из интернета

Майнинг и использование для майнинга в этой статье не обсуждается.

У меня есть пара старых статей (про A100, и про 3090 и A10) и также вот есть тоже старое, но всё еще неплохое и актуальное сравнение карточек для расчетов от Selectel. С тех пор прошло примерно два года и пора написать что-то новенькое и попробовать новые ускорители для расчетов. Да, это всё ещё статья про карточку Nvidia, не AMD и не Intel, и не про китайцев и какие-то модные большие чипы, увы.

С тех пор появились новые карточки уже аж двух новых поколений — Ada Lovelace и Hopper. При этом Hopper вроде как должны были прийти на замену очень удачному поколению Ampere (еще есть древняя традиция Nvidia — за супер успешным поколением следует менее удачное), но не пришли. Но возможно из-за торговых войн с Китаем карточки поколения Hopper стали выдавать только нужным вендорам и в виде собранных систем и при этом запретили экспорт в Китай.

В этой статьей мы разберем первые впечатления от карточки NVIDIA RTX 5000 Ada Generation (чип AD103) и добавим щепотку юмора для начала.

Слон в комнате

Наверное с учетом истории статей, вы спросите, а почему если мне так зашла карточка 3090 Turbo от Gigabyte (мало греется, быстрая, стоит относительно дешёво), эта статья не посвящена карточке 4090 или 4090 Ti (если она уже вышла)?

Ответим картинками из статьи:

Размеры 4090 Ti

Это конечно шутка, карточки 4090 выглядят всего лишь вот так:

Реальный размер 4090

Ладно-ладно, вот реальное сравнение:

Реальные размеры

То есть получается, что разные 4090 занимают от 3 до 4 слотов и кушают где-то в районе 450 ватт. Есть треды и пресс-релизы про карты «нормального» размера, но в наших краях я видел только такие варианты — полностью на воде и гибридные.

Пробовать воду и гибридные мало хочется, неясно примут ли их к размещению в ДЦ, да и как-то немного стрёмно, продукт выйдет скорее всего мелко-серийный, как и процессоры ThreadRipper Pro в своё время. Самому разбирать и делать охлаждение, тоже мало желания, хочется просто купить и забыть.

Пару слов можно сказать про новый коннектор и слухи про то, что 4090 горят. Вероятно, новый коннектор сделали, так как питания от материнки и старого PCIe 8-pin + PCIe 6-pin коннектора на 450+ ватт уже не хватало, что вкупе с резким повышением TDP также вставляет палки в колёса обычным пользователям. К примеру у популярного блока питания на 2 kW таких разъёмов в принципе нет, а блоки питания, у которых он есть, рассчитаны на 2 карты максимум.

Ну … намёк понятен. Если даже решить «водяные» вопросы, то придется ставить вместо четырёх карт две, что не очень привлекательно, даже с учетом роста «попугаев».

Виновник торжества

Вообще если шутки в сторону, то очевидно, что Nvidia, на фоне AI-пузыря и успеха поколения Ampere, просто разделила карточки уже на три сегмента — Hopper для стран золотого миллиарда и ультра богатых, запоздавшие профессиональные карты RTX серии Ada Lovelace (новости какие-то вроде были от 2022 года, но это неточно, но вышли они в итоге в конце 2023 года) и игровые, которыми внезапно теперь стало ну совсем сложно использовать для расчётов на базовых компонентах, без серверного железа или не влезая «внутрь».

Вообще при более детальном подборе компонентов и общении с поставщиками, я обратил внимание на такой документ (возможно потребуется VPN), который расставляет все точки над i:

Табличка из документа

Ну то есть простыми словами, раньше более прожорливые карты Quadro (230 W) и 3090 (350 W), которым хватало PCIe 8-pin + PCIe 6-pin питания, прекрасно жили на старом коннекторе, а вот новые карты, которые кушают от 130W до 300W, уже все требуют такой же коннектор, как и 450-ваттные 4090. При этом обратите внимание, что как минимум 70 ватт подается с материнской платы. Стандартизация скажут одни, выкручивание рук скажут другие.

При этом есть адаптеры, но судя по описанию, такой адаптер это уже не просто провод, а там зашита какая-то логика. Фотографии такого адаптера в документации нет, но вроде они поставляются вместе с видеокартами.

Hidden text

В сумме получаем, что чтобы использовать 4090 для расчетов наравне с 3090, нужно решить следующие вопросы:

• Физический размер. Кроме заводской или самодельной воды или гибрида путей я особо не вижу;

• В комплекте должен быть адаптер или его нужно приобрести, так как блоки питания с подходящими штекерами рассчитаны только на 2 карты максимум;

• Максимальный лимит по питанию выставить надо будет на уровне 300–350 ватт, что скорее всего даст просадку как минимум на 20–30% по производительности (владельцы 4090 пожалуйста дайте точную цифру);

Всё это делает приобретение 4090 для расчетов малопривлекательным. Вроде получаем x2.5 попугаев, но теряем в количестве карт или теряем 20–30%, если героически решаем все проблемы, но получаем моменты с поддержкой.

Сухие характеристики

Так, ну допустим карточки Hoppеr купить за адекватные средства нельзя из-за торговых войн США с Китаем. Сравним хоть сколько-то «интересные» карточки нового поколения (у карт A6000 и серии L* цена на одного попугая растёт еще в несколько раз) со старыми, но при этом выведем идентификатор чипа:

Судя по официальным пресс-релизам (а на главной на сайте PNY A5000 Ada найти всё еще нельзя) (1, 2, 3, 4) и статье на Википедии, информация местами друг другу противоречит, но в целом общее направление понятно.

Уже наверное неважно сколько реально там каких ядер в какой карточке (их там несколько версий и их меняли по начинке уже несколько раз), число попугаев можно сравнить в реальном тесте. Профессиональные карточки в этот раз тоже относительно сильно задержались после игровых, но если A10, RTX 3090 и RTX A5000 были относительными аналогами, то сейчас кажется, что A5000 Ada сильно «удобнее», несмотря на кабель.

Еще кажется, что для 4090 сильно недодали памяти, а все карты выше A5000 уже сильно оверпрайснуты, вероятно это тоже форма «торговой» войны. Также я не понял какой техпроцесс используется, 4 или 5nm для какой из последних карт, но наверное это неважно.

Первые впечатления

Карта стандартного размера, есть активный центробежный «фен», внешне решение от PNY по дизайну чем-то похоже на референсные карты от Nvidia, раньше они выглядели поскромнее. Карта требует новый адаптер питания.

Адаптеры питания

Сама карта

Расчет попугаев

Самое интересное. Чтобы сохранить преемственность с прошлыми тестами, воспользуемся простой утилитой gpu-burn, которая также очень полезна для стресс-тестирования видеокарт. Теперь там есть заранее собранный билд через докер, можно не подбирать базовые образы и не собирать «самому»:

git clone https://github.com/wilicc/gpu-burn
cd gpu-burn
docker build -t gpu_burn .

Далее документация просит ввести такую команду: docker run --rm --gpus all gpu_burn, но она запустит дефолтный тест сразу на всех картах и сервер попросится в небо. Попробуем что попроще сначала:

docker run --rm -it --gpus '"device=0"' --entrypoint bash gpu_burn 
./gpu_burn 120 
./gpu_burn -tc 120

Запускаем на выбранной карте, ставим тест на пару минут с или без использования тензорных ядер. Каких-то новых, супер интересных и неочевидных зависимостей тут выявить не вышло (карты активные), поэтому результаты представлю в обратно совместимом формате вообще со всеми картами, которые я когда-либо тестировал.

Указывать буду максимальные попугаи и максимальную температуру карты во время теста. Никакие танцы с бубном в виде разгона, ограничения питания карты или работы со скоростью «фена» не проводились, всё тупо из коробки. Тесты, где надо было танцевать с бубнами с настройками, я просто исключаю из выборки.

Попугаи

Температуры карт

A100 с использованием технологии MIG, то есть с «нарезанием» карты на виртуальные «подкарты»

Понятно, что никакой workload эти тесты не отражают, отчасти это просто обратно совместимый способ сравнивать карты, до которых дотягивались мои руки и делать какие-то выводы про их качественные и количественные характеристики. Очевидные вещи не буду писать, тренды и сравнения тут довольно понятны.

Выводы

В принципе тут нет каких-то откровений. Корпорация Nvidia, оставаясь де-факто монополистом на рынке ускорителей для расчётов, всё эффективнее и эффективнее извлекает монополистическую ренту из этого рынка, разделяя его на новые сегменты с помощью ценовой дискриминации.

И если в самом начале процесса сервера с карточками типа 1080 Ti или 3090 мало уступали «профессиональным» решениям и не додавали пожалуй только памяти, то сейчас уже используются и прочие многочисленные рычаги: прямые санкции, ограничения по памяти, «инновации» по питанию, вендор-локи.

Единственное утешение тут наверное состоит в том, что если разделить рублевую цену карточек, не входящих в «чувствительный» список топовых продуктов, на попугаи, то у последних интересных карт этот показатель остается примерно на одном уровне, но «плотность» попугаев растёт, но для сборки мощного сервера уже недостаточно просто комплектующих из магазина через дорогу.

© Habrahabr.ru