Обзор сервера HIPER Server R3 – Advanced (R3-T223225-13)31.10.2023 10:02

Оглавление

Вступление

Так уж сложилось, что мы практически не пишем про серверное «железо». Хотя в блогах иногда можно наткнуться на статьи типа «Xeon с Али за 2000 рублей ещё что-то может». Это у компании Intel было такое развлечение совмещать на платформе HEDT настольные решения и серверные. Данный аттракцион продолжается со времён LGA 775, когда ушлые люди научились вставлять серверные Xeon LGA771. До сих пор в сети есть такая информация, и она доступна для изучения. Уже заметно позже, когда все стали забывать про LGA 2011 и чипсет Intel X79, он воскрес вместе с зомби-платами на букву «Х», новый виток повторился уже с LGA 2011 v3 и Intel X99. Смысл, по сути, был очевиден: больше ядер, недорого и звучит круто.

Чипсеты для серверных плат обозначались немного иначе: Intel C602 и Intel C612. И по функциональности они были схожи со своими десктопными аналогами. Все отличия сводились к поддержке функции Intel vPro, вариациях Intel RST Enterprise и поддержке серверной памяти, хотя это в большей степени зависит от процессора, поскольку контроллер памяти встроен в него. Тут сразу выявилась небольшая проблема. Для работы процессора необходима материнская плата. Плат этих осталось у людей не так много, а серверных процессоров — целые железнодорожные составы. Выход был найден простой — возобновили выпуск моделей на Intel X79 со всякими смешными названиями. Не буду скрывать, у меня были эти платформы, но с настольными процессорами и в тот момент, когда они были актуальны. Ещё была LGA 2066…

Сегодня мне мало что известно о современных серверных решениях. Тем не менее, давно появились ответные решения AMD в виде Threadripper и EPYC. У Intel образовалось небольшое затишье в сегменте HEDT, а серверные платформы продолжили своё развитие. Появилась платформа Intel LGA 3647 (socket P), которую позднее сменила LGA 4189 (socket P+) с чипсетом Intel C642A. В этом году они решили взять реванш, чтобы разгромить конкурента и заодно перейти на новый тип памяти, поэтому была выпущена ещё одна платформа Intel LGA 4677 с чипсетами Intel W790 и C741. Здесь пошло разделение на рабочие станции и сервера. Причём в первом случае есть поддержка разгона, чего так не хватало энтузиастам. Что касается рынка серверов, то он всегда считался консервативным и инертным. Не все спешат сходу внедрять новые решения, предпочитая использовать проверенные годами устройства и испытанные платформы. Поэтому ещё много оборудования выходит на платформе прошлого поколения.

В сегодняшней ситуации дела обстоят не просто потому, что рынок покинули такие гиганты как HP и DELL, но это не значит, что мы остались в вакууме и закон Яровой оказался под угрозой. На рынке появляются другие игроки, которые готовы сотрудничать с российскими компаниями и поставлять им оборудование. На самом деле реально производят подобные решения несколько крупных фирм, которые изготавливают шасси и материнские платы. Всё остальное оборудование, включая различные контроллеры, накопители, процессоры, память производит ещё несколько фирм, которые узко специализируются в чём-то. Например, компания Delta Electronics выпускает системы охлаждения и блоки питания. Готовые серверные продукты уже поставляют третьи компании, которые собирают в единую компоновку определённый набор компонент и реализуют готовый продукт как полностью готовый сервер или определённый кит (баребон), где его нужно будет доукомплектовать процессорами, памятью, накопителями и прочими компонентами, для создания необходимой конфигурации.

Одной из таких компаний является многим известная Hiper, которая активно развивается на рынке B2B решений. Сегодня мы рассмотрим классический сервер, устанавливающийся в стойку, высотой 2U — HIPER Server R3 — Advanced (R3-T223225–13).

Компания HIPER предлагает несколько вариантов готовых базовых конфигураций, которые при необходимости можно доукомплектовать под требуемые задачи. У меня оказалась следующая модификация: HIPER R3 Rack 2U, 2 x Xeon 6348, 8×16GB/3200MHz/RDIMM (до 32 модулей), 2×960GB U.2 SSD SFF + 2xM.2 512GB SSD (до 25 SAS/SATA+2xSATA rear), SR9361–8i (2GB), 10/25GBE SFP28 OCP) 2-port, 1xIPMI, 2×1300W, 2×2.8m p/с, Rails. Как видно, это уже готовая сборка с контроллерами, накопителями, процессорами и всем необходимым для работы. Что касается операционной системы, то её может выбрать пользователь, а компания может при желании её предустановить.

Технические характеристики

* Итоговая масса зависит от конкретной конфигурации.

Характеристики выглядят неплохо, особенно это касается портов и интерфейсов — это действительно масштабируемое решение, предназначенное для хранения данных и прочих серверных задач.

Упаковка и комплектация

Сервер поставляется в огромной картонной коробке, габариты которой составляют 680×310 х 1010 мм. Помимо её больших габаритов она ещё может быть достаточно тяжёлой, но здесь всё зависит от конфигурации устройства. Тем не менее, нужно быть готовым к тому, что она будет весить около 40 кг и одному с ней справиться будет сложно.

Никакой информации на самой коробке нет, а внутри нас ждёт несколько коробок поменьше и сам сервер, который упакован в каркас из вспененного полиэтилена. В коробках находится комплект поставки и инструкция, которую можно скачать с сайта производителя.

Комплект поставки стандартный для коммерческого оборудования. Он небольшой, но есть всё необходимое для установки и запуска. Прежде всего это кабели питания и телескопические направляющие для монтажа в стойку. Все крепления стандартные и поэтому никаких проблем с установкой в шкаф возникнуть не должно.

Если вы покупаете уже готовый сервер, то часть из этого комплекта уже будет смонтировано. Это касается радиаторов и кабелей. Также установлены блоки питания. Кстати, максимальная мощность блоков питания может быть 2000 Вт. Для моей конфигурации 1300 Вт вполне достаточно потому, что нет сильно прожорливых устройств, а процессоры не выходят за пределы 500 Вт при полной нагрузке.

Операционная система устанавливается по согласованию и здесь есть определённые нюансы с её установкой, о которой я расскажу позднее.

Внешний вид, конструкция и особенности

Про дизайн тут сказать нечего. Такие устройства делают исключительно под функционал, удобство обслуживания и хорошее охлаждение. В данном случае сделан упор на установку большого числа накопителей размера 2,5». Устройства могут быть разных типов: SAS/SATA/U.2.

Всю переднюю панель занимает корзина с лотками, где можно разместить до 25 устройств. При этом следует понимать, что штатным контроллером уже не обойтись и придётся использовать дополнительный. В моём случае он поставлялся вместе с сервером и мы его рассмотрим далее, а ещё, как ни странно, в базовом оснащении нет сетевого адаптера, а есть только порт RJ-45 для управления.

Корпус устройства обычный, он изготовлен из толстого оцинкованного металла. Никакой краски тут нет потому, что такие устройства устанавливаются в стойку (шкаф 19») и максимум, что с ними происходит — их обслуживают. Для этого открывается дверь шкафа, откручиваются по бокам два винта крепления по бокам и на телескопических салазках корпус сервера выдвигается из шкафа.

На передней панели устройства находится 25 контейнеров с быстрым извлечением, в которых есть множество вентиляционных отверстий, потому что это очень важно для охлаждения всех компонентов внутри. Известно, что воздух поступает спереди, а также из других вентиляционных отверстий сверху и сбоку, далее он проходит потоком внутри корпуса через радиаторы процессоров и выходит сзади.

Ещё на передней панели есть один разъём D-Sub (VGA), два порта USB 3.0, кнопки и индикаторы, а ещё разъём для подключения экрана системы мониторинга.

Традиционно все эти компоненты распиханы по двум углам, а все корзины расположены вертикально и занимают почти всю панель.

Разумеется, есть возможность горячей замены, важно лишь помнить про ваш уровень RAID. В моём случае было установлено два диска Intel SSD M5-D5530 объёмом 960 Гб. Это обычные накопители корпоративного сегмента с интерфейсом U.2.

Ещё раз хочу напомнить, что есть возможность горячей замены и она автоматически уже включена в BIOS. Ещё две корзины находятся сзади. В данном случае они были подключены к штатному контроллеру материнской платы, а вот передние обеспечивались отдельным контроллером AVAGO MegaRAID SAS 9361–8i.

Какие ещё разъёмы есть сзади? Пара портов USB 3.0, D-Sub (VGA), COM-порт и порт управления RJ-45. Последний обеспечивает доступ к модулю управления BMC, который реализован через контроллер ASPEED AST2500.

Изначально сетевого контроллера нет, но у меня уже была готовая сборка, в которой было сразу два. Один простой гигабитный двухпортовый на базе чипа Intel I350, а ещё один устанавливается в разъём дочерней платы OCP 3.0. Он оборудован двумя портами 10/25GBE SFP28. Справа внизу можно заметить два блока питания. В комплекте поставляются два одинаковых на 1300 Вт с платиновым сертификатом 80 Plus.

Поскольку никаких HDMI тут нет, то я ещё установил свою любимую видеокарту GT 1030. Никаких проблем с этим не возникло, но, чтобы это сделать, сперва нужно открыть корпус.

Для этого в середине находится замок, который блокируется обычной крестовой отвёрткой. Точно также он разблокируется, а затем его нужно потянуть вверх, крышка немного сдвинется и её можно будет снять.

Под ней находятся разные схемы и описания разъёмов материнской платы. На схеме нет не то, что русского языка, но даже английского. Без инструкции тут что-то понять тоже можно, но сложно.

Открыв крышку, мы видим множество различных элементов. В первую очередь это огромная материнская плата с двумя процессорными сокетами LGA4189, где процессоры уже установлены, а сверху находятся радиаторы. Всё это закрыто пластиковым кожухом.

Без него использовать сервер можно, но нежелательно. Дело в том, что он выполняет функцию направления воздушных потоков от вентиляторов на радиаторы, которые их лишены.

Без данного кожуха процессоры не будут охлаждаться должным образом и воздушный поток пойдёт не по направленному коридору на радиатор, а будет рассеиваться. Всё это может привести к перегреву процессора и снижения его частоты в нагрузке. Поэтому использование этого пластикового элемента обязательно. Такое я встречаю не только в этом сервере и это обычная практика.

Перед процессорами находятся очень мощные вентиляторы AVC 12 В, 4.5 А. Их максимальная скорость может достигать 14 000 об/мин. Вы представляете, какой при этом стоит шум? Его можно сравнить со звуком взлетающего самолёта, если стоять рядом с ним. И таких вентилятора здесь четыре. Каждый находится в своём персональном боксе, на угол которого выведен крупный коннектор, для подключения к плате.

Здесь также возможна «горячая» замена. Вентиляторы вставляются в специальные направляющие и оборудованы металлическими решётками, чтобы ненароком на крыльчатку что-то не попало. Думаю, что на максимальной скорости палец может и отрезать, поэтому не пытайтесь это делать.

Перед вентиляторами расположена плата, к которой подключаются накопители. Корзины устанавливаются в корпус по направляющим и вставляются в разъёмы этой платы. С обратной стороны находится крупный радиатор для охлаждения основного контроллера, а ещё можно заметить несколько разъёмов для подключения питания и передачи данных.

Сняв пластиковый кожух, можно уже увидеть расположение процессорных сокетов и слотов памяти. В моём случае было установлено 8 планок RDIMM DDR4–3200 по 16 ГБ. По информации это модули M393A2K43DB3-CWE.

В задней части находятся слоты расширения, где установлены дополнительные сетевые контроллеры, а также RAID контроллер для накопителей AVAGO MegaRAID SAS 9361–8i.

Я же ещё установил видеокарту GT1030, хотя лучше использовать специальное оборудование типа Quadro. С другой стороны всё это не нужно потому, что сервер должен стоять в шкафу, а не лежать на столе, поэтому разумнее использовать какой-нибудь ускоритель вычислений, а не видеокарту.

Под райзерами с картами расширения можно заметить два слота М.2, для установки накопителей. Также здесь можно заметить слот для установки карт памяти и слот OCP, для установки специальной дочерней платы, которая, кстати, уже была установлена. Ещё мы видим батарейку CMOS и спикерфон.

Все разъёмы можно посмотреть на специальной схеме, которую представляет производитель.

Тестирование

Всё начинается достаточно просто, подключаем оба блока питания, хотя можно и один. Далее подключаем монитор с D-Sub разъёмом, клавиатуру, мышь и запускаем систему. На первом этапе проходит самодиагностика устройства и если возникают какие-нибудь ошибки, например, отказ модуля памяти, то на экране сразу отображается информация об этом событии.

Если всё проходит удачно, то на экране появляется меню выбора действий, где можно открыть BIOS или показать меню загрузки. Посмотрим сначала на BIOS.

Для опытного пользователя здесь нет чего-то необычного, разве что есть несколько ключевых моментов. Начнём с того, что у дополнительного RAID контроллера здесь есть своё меню, и им также можно управлять. Если честно, то я думал, что у него просто будет свой BIOS и в него можно будет войти уже после инициализации материнской платы. Однако он настраивается здесь и это удобно. Ещё здесь можно увидеть журнал событий и различных ситуаций, которые происходят с сервером.

Да, логи записываются не только в операционной системе, они ведутся непосредственно в специальную память на материнской плате. Позднее эти события можно будет просмотреть уже удалённо, когда сервер работает через BMC. Для этого нужно просто подключить порт управления RJ-45 в сеть. Почему я говорю об этом здесь? Дело в том, что все сетевые настройки прописаны именно в BIOS и их можно здесь сразу поменять. На серверах BIOS обычно обновляется из операционной системы и такого функционала тут нет. Зато можно сохранить конфигурацию. Меню очень большое и всё, что мне здесь было нужно я нашёл. Мониторинга как такового тут тоже нет, но и никто не занимается такими делами через BIOS, когда есть BMC, до которого мы дойдём попозже.

Что было дальше? Тут уже надо устанавливать операционную систему и проводить тесты. Debian и Ubuntu — это не про нас. Будем ставить Windows Server 2022. Кстати, я пробовал ставить Windows 11, но стандартный дистрибутив ругается на железо. У меня есть другой, где отключена проверка и вот там я уже дошёл до этапа выбора накопителей, где оказалось пусто и это был первый звоночек. С дистрибутивом Windows Server 2022 произошло то же самое, хотя я был уверен, что там-то уже драйвера для контроллеров интегрированы. Пришлось скачивать вручную с другого компьютера и вставлять дискетку. Конечно, это шутка, но драйвера действительно пришлось загрузить и тогда хотя бы M.2 накопители появились. Ещё один момент. Плата поддерживает создание программного RAID массива из двух M.2, но они не должны быть системными. Соответственно если поставить систему на один из них, то про RAID 0 потом уже можно забыть.

В целом это всё обычные процедуры, с которыми приходится сталкиваться любому человеку, который настраивает операционную систему на сервере и я такие манипуляции уже проделывал и это не стало какой-то проблемой потому, что я был к этому готов, но просто надеялся, что в дистрибутиве изначально уже будут драйвера контроллеров потому, что они не какие-то очень новые, а дистрибутив уже был с последними апдейтами. Дальше уже всё просто. Убираем вход через ALT-CTRL-DEL, убираем вход по паролю потому, что придётся ещё 100500 раз перезагрузиться. Устанавливаем драйвера и заглядываем в диспетчер устройств, чтобы убедиться, что всё установлено и готово к работе. Потом уже переходим к тестам.

CPU-Z:

AIDA64 GPGPU:

AIDA64 Cache & Memory:

AIDA64 CPU Queen:

AIDA64 CPU Photo Worxx:

AIDA64 CPU Photo ZLib:

AIDA64 CPU Photo AES:

AIDA64 CPU Photo SHA3:

AIDA64 FPU Julia:

AIDA64 FPU FP64-RayTrace:

Cinebench R20:

Cinebench R23:

Cinebench 2024:

7 Zip:

Winrar:

AS SSD Benchmark M.2:

AS SSD Benchmark U.2:

CrystalDiskMark M.2:

CrystalDiskMark U.2:

Понятно, что все эти тесты не отражают полной картины, чтобы понять производительность этого устройства, но какие-то представления можно получить. Также следует вспомнить, что это не максимальная конфигурация и здесь ещё есть куда расти в плане производительности, ведь я даже не настраивал массивы накопителей, а скорости уже неплохие, особенно у накопителей корпоративного уровня, подключенных по интерфейсу U.2.

Для того чтобы подключиться к системе управления и мониторинга за состоянием сервера, можно прямо в браузере ввести тот самый адрес для подключения к BMC. Разумеется, вы должны находиться с его интерфейсом в одной подсети.

Мы попадаем на стартовую страницу, где в левой части находится меню, а слева мы уже можем видеть журнал логов системы. Ещё можно заметить информацию о сети и о встроенном ПО. Можно здесь открыть рабочий стол? Да сколько угодно.

Здесь вообще инструментарий достаточно большой и можно сделать с ним удалённо всё, что угодно. Можно даже сделать запись экрана рабочего стола. Разумеется, можно посмотреть информацию об оборудовании. На одной из страниц есть информация о процессорах и модулях памяти. Видно, в каких слотах установлены модули и их температура в реальном времени.

Также можно посмотреть информацию о накопителях.

Ещё можно посмотреть информацию о других установленных устройствах.

Что там происходит с вентиляторами? Какие работают, а какие остановились, какая скорость вращения? Можно включить их на все 100%? Много вопросов и всего одна страница.

Сколько потребляет система. Есть какой-то мониторинг? Разумеется, ведь это сервер и нужно понимать, сколько энергии он потребляет в нагрузке.

Различных температурных датчиков здесь просто какое-то безумное количество.

Также никакой сервер не может использоваться без системы ведения логов и журналов различных событий. Здесь не только записываются все действия, но есть отличные инструменты фильтрации и поиска определённых событий.

Есть возможность записи видео логов, например по STOP ошибкам Windows.

Также ведутся записи по событиям связанными с накопителями.

Дополнительных настроек очень много. Конечно же можно настроить систему бэкапов данных. Кроме этого, можно обновить прошивку, сбросить BIOS и многое другое.

Нагрев и шум

Такие вещи обычно мало волнуют пользователей. В помещениях серверной обычно стоят системы кондиционирования, а поскольку это закрытое помещение, то шум тоже мало кого волнует, только, когда заходишь в комнату с оборудованием. Я видел много разных серверных комнат и сам оборудовал одну из них и поэтому это техническое помещение, где люди не сидят постоянно. Тем не менее, многие хотят узнать, как здесь работает система охлаждения и насколько она эффективна.

Когда я тестировал этот сервер, то в помещении было около 22С, а фоновый уровень шума составлял 27,2 дБ. Разогреватель будем использовать знакомый многим, он называется Prime95.

В простое сервер уже шумит гораздо сильнее любого компьютера и шум составляет 65 дБ. Ещё раз повторю, что в этом нет ничего криминального и это нормально. Важно, что при полной нагрузке он увеличивается не так заметно и может достигать 68 дБ, при том, что сервер потребляет более 700 Вт, согласно замерам с ваттметра.

Попробуем, теперь не выключая Prime95 посмотреть, как осуществляется переключение блоков питания и их замена.

Никаких проблем с этим нет. Также осуществляется замена дисков. Что касается нагрева, то снаружи его заметить не так просто, а для того, чтобы посмотреть картину внутри нужно снять верхнюю крышку.

Как снаружи, так и внутри температуры вполне приемлемые.

Однако на практике они могут отличаться в любую сторону потому, что это зависит от температуры в помещении и шкафу.

Заключение

HIPER Server R3 — Advanced (R3-T223225–13) это современный сервер с широкими возможностями расширения и конфигурирования, основанный на на третьем поколении процессоров Xeon Scalable. Модели HIPER серии Advanced R3 представляют собой масштабируемые решения для хранения данных, обеспечивающие максимальную производительность и гибкость, и поддерживающие стандартные интерфейсы SAS/SATA/NVMe через трехрежимные RAID-адаптеры для повышения качества подключения и безопасности данных. А поддержка флэш-накопителей NVMe U.2 на передней панели обеспечивает большой объем хранилища и высокую производительность.

Поддержка PCIe 4.0 предполагает пропускную способность 32 Гб/с (x16), что вдвое превышает скорость PCIe 3.0, обеспечивая высокую производительность, более низкое энергопотребление, лучшую масштабируемость и обратную совместимость. Серверы HIPER серии Advanced R3 оснащены интерфейсом PCIe 4.0 и поддерживают широкий спектр графических устройств, ускорителей вычислений, контроллеров ресурсов хранения и сетевых адаптеров, что обеспечивает масштабируемость для требовательных или растущих рабочих нагрузок. Помимо этого серверы поддерживают дочерние карты расширения OCP 3.0 с пропускной способностью PCIe 4.0 для быстрой работы сетевых устройств, обеспечивая высокую пропускную способность и низкие задержки, до 200 Гбит/с.

Компания HIPER предлагает несколько вариантов готовых базовых конфигураций, которые можно доукомплектовать под требуемые задачи. Всё это может взять на себя сама компания, а у вас на выходе получится готовое устройство в той конфигурации, которая необходима. Сервисная поддержка оборудования практически оптимальна. В случае с HIPER гарантия на все устройства — как на штатные, так и на сконфигурированные под требования заказчика — составляет 3 года, согласно стандарту отрасли. Время обработки запросов — в течение двух недель. Срок ремонта в авторизованных сервисных центрах — стандартный, до 45 дней с момента подтверждения неисправности, что соответствует законам Российской Федерации. Есть также возможность расширения сервисной поддержки. Доступны варианты как по приоритизации обслуживания и сокращения сроков решения проблем, так и по ремонту на стороне клиента (по понятным причинам, только в радиусе 50 км от городов с авторизованными сервисными центрами). Возможна и удаленная диагностика.

Все серверные решения HIPER абсолютно доступны и могут быть приобретены корпоративными заказчиками по всей территории страны, так как вендор распространяет свою продукцию через дистрибьюторский канал. Важно, что вендор может предустанавливать на серверы основные ОС, как российские дистрибутивы («Астра», «Альт Линукс», РОСА, «РедОС»), так и решения Microsoft. Оборудование HIPER стандартное, со стороны вендора не предусмотрено никаких ограничений по его использованию с основной массой дополнительных компонентов иностранного и российского производства и с любым программным обеспечением. Это упрощает встраивание серверов в любую инфраструктуру заказчика.

Ознакомиться с модельным рядом серверов HIPER и выбрать необходимую конфигурацию можно по ссылке.

Полный текст статьи читайте на overclockers.ru