Ставим эксперименты над «железом»: препарируем ARM-процессор, «Эльбрус» и сервер с 8 видеокартами17.01.2023 18:31

В Selectel есть особенный отдел — Selectel Lab. Это виртуальная лаборатория, где мы ставим эксперименты над технологическими новинками ведущих вендоров. Изучить эти новинки могут и наши клиенты — предлагаем им бесплатно тестировать подобранные конфигурации в своих проектах.

В этом тексте собрали «анамнез» последних экспериментов, проведенных в нашей лаборатории. Под катом — разбор сервера на ARM-процессоре, тестирование отечественных «Эльбрусов» и препарация золотого «суперкомпьютера».

Тест ARM-процессор Ampere Altra

Зачем тест: Хотели сравнить заявленные производителем характеристики с реальными. Процессоры с таким числом ядер с частотой 3.0 ГГц при TDP в 210 Вт не предлагает ни один «звездный» вендор. Кроме того, на тот момент мы завозили ARM-процессоры в дата-центр, и нам нужно было понять, насколько он подойдет для наших серверных.

Уже сейчас вы можете арендовать выделенный сервер c ARM-процессором (Ampere Altra Max M128–30 3 ГГц, 128 ядер) или же протестировать сервер с ним бесплатно — в Selectel Lab (на тесте — 80-ядерный процессор).

Тестовый конфиг:

Материнская плата GIGABYTE MP32-AR1–00
Процессор Ampere Altra Q80–30
Память: 16×16 ГБ Micron DDR4 3200 МГц ECC (256 ГБ)
2 SSD-накопителя Micron_5300 на 480 ГБ
NVMe-диск на 1 ТБ M.2 SSD (GIGABYTE GP-AG41TB)
Три видеокарты Nvidia TESLA T4

Список тестов: AI-Benchmark, Geekbench 5, ffmpeg NVENC, CUDA Toolkit, проверка температурного режима и энергопотребления.

Для сравнения с Amper Altra выбрали два процессора AMD EPYC 7513 — 64 ядра в сумме, базовая частота 2,6 ГГц (до 3.65 ГГц в режиме Turbo CORE).

Результат: В однопоточном режиме процессор выдает довольно скромные результаты (впрочем, опять же, показатели не так далеко ушли от AMD EPYC). Зато в мультипоточном лидерство Ampere Altra очень уверенное. Даже несмотря на то, что использовалось два процессора AMD EPYC 7513, Ampere Altra Q80–30 составляет конкуренцию процессору от AMD. На момент публикации, согласно внутренним бенчмаркам Selectel, этот процессор на втором месте по производительности после AMD EPYC 7742.

Базовые тесты ARM-процессора Ampere Altra показали, что на данный момент этот CPU эффективнее с точки зрения электропотребления. Учитывая этот факт и цену процессора, он экономически выгоден для дата-центра.

Подробное описание теста процессора →

Анализ эффективности «Эльбрус-8СВ» для дата-центра

Зачем тест: Хотела проработать план Б — сможем ли предоставлять сервера на отечественном процессоре? Взяли на изучение процессор «Эльбрус-8СВ». Он шел в комплекте с материнской платой »2Э8СВ-EATX» производства компании МЦСТ. Нам было важно понять, сможем ли мы встроить процессор в систему дата-центра, примет ли он все автоматизации, написанные для быстрого запуска выделенных серверов Selectel.

Тестовый конфиг:

Корпус: 2U NVMe
Процессор: «Эльбрус-8СВ»
Матплата:»2Э8СВ-EATX»
RAM: 8 шт. DDR4 32 ГБ 2933 МГц ECC Reg DIMM (MTA36ASF4G72PZ-2G9J3) Micron
SSD: 1 шт. Micron 5300 Pro 1 ТБ
HDD: 1 шт. ST4000NM0035 Seagate 4 ТБ
SSD: Samsung 480 ГБ MZ7LH480HAHQ
SSD: Intel 240 ГБ S4510

Список тестов: бенчмарк-тест Geekbench5 в режиме бинарной трансляции, также отдельным тестом стала установка ОС.

Результат: На данный момент препятствий для внедрения серверов в дата-центры более чем достаточно. Чтобы привести серверы на Эльбрусе к такому же удобству для конечного пользователя, нужно будет вложить очень много сил и времени. Придется поломать голову над автоматизацией процессов, перекомпилировать необходимые программы, подумать, как обойти все существующие ограничения.

На данный момент мы продолжаем вести коммуникацию с разработчиками и тестировать процессор. Возможно, еще вернемся с продолжением этой истории.

Подробнее о тесте «Эльбруса» →

Разбираем тяжеловеса с 8 GPU

Зачем тест: Этот сервер с 8 видеокартами нам предоставила компания Forsite. NVIDIA DGX A100 — стоечный сервер, высотой в 6U и массой более 130 килограмм. Мы хотели опробовать новинку сами и предложить поработать с этим «монстром» нашим клиентам.

Характеристики:

2 x AMD EPYC 7742, 128 ядер
2.25 ГГц
1 ТБ RAM
Объем дискового пространства 15 ТБ
GPU 8 х Tesla A100
GPU-память 320 ГБ

Список тестов: GeekBench 5 Compute, AI-benchmark, MLPerf, также проверили «теоретическое» состояние сервера с помощью команды nvsm show health.

Мы даже сняли ролики на YouTube — посмотрите.

Результаты: Несмотря на наличие инструкции и четкий регламент, большинство тестов не запускалось из-за ошибок в зависимостях Docker-контейнеров. DGX имеет множество сложных технических нюансов и особенностей, но их нельзя прочувствовать на паре общих тестов производительности. Чтобы почувствовать настоящую мощь этого сервера, нужно «потрогать» его самостоятельно.

Посмотреть на «золотой сервер» →

Возможно, эти тексты тоже вас заинтересуют:
→ Чем заняться в 2023? Идеи для пет-проектов и подборка материалов по профессиональному развитию
→ Гиперскейлинг в 2023 год: что мы делали, чтобы поддержать бизнес клиентов
→ Loongson 3D5000: китайский процессор на собственной архитектуре. Что он из себя представляет?