Конспект админа: блеск и нищета блейд-систем

image alt text


В Конспекте мы часто обходим стороной enterprise-технологии из-за их малой применимости в не столь масштабных проектах. Но сегодняшняя статья — исключение, потому что речь пойдет о модульных системах, «блейдах».


Не так много архитектурных изысков в IT-мире, которые были бы окутаны большим ореолом «невероятной крутости» и сравнимым набором мифов. Поэтому не буду усложнять еще больше, и просто расскажу об особенностях и применимости такого рода систем на практике.


LEGO для инженера

Блейд-сервер почти обычный сервер, в котором есть привычная материнская плата, оперативная память, процессоры и множество вспомогательных систем и адаптеров. Но «почти» заключается в том, что такой сервер не предназначен для автономной работы и поставляется в специальном компактном корпусе для установки в специальное шасси.


Шасси — или «корзина» — ни что иное, как большой короб с посадочными местами для серверов и дополнительных модулей. Все серверы и компоненты соединены при помощи большой коммутационной платы (Backplane) и образуют блейд-систему.


Если разобрать всю систему на составляющие, то на столе окажется следующая горка:


  • Блейд-серверы (лезвия) — серверы без блоков питания, вентиляторов, сетевых разъемов и модулей управления;


  • Шасси — корпус и бэкплейн;


  • Системы питания и охлаждения для всех компонентов системы;


  • Коммутационные устройства для связи с внешним миром;


  • Модули управления (различные вариации на тему IPMI).

От обычного серверного шкафа все это добро отличается компактными размерами (обычно 6–10U) и высоким уровнем надежности, так как все компоненты могут быть зарезервированы. Здесь, кстати, кроется один из мифов: десяток лезвий не собирается в один большой сервер. Это будет просто десяток серверов с общей инфраструктурой.


К слову, у HPE есть решения, напоминающие традиционные blade-серверы — HPE Superdome. В качестве лезвий там используются процессорные модули с оперативной памятью. В таких решениях вся система действительно представляет собой один высокопроизводительный сервер.

Нюансы архитектурных решений разных производителей блейд-систем уже обсуждались на Хабре (статья хоть и старая, но в своих основах актуальная), поэтому я для иллюстрации использую блейд-систему от HPE — BladeSystem c7000.


В роли лезвий могут выступать:


  • Обычные серверы, вроде HPE ProLiant BL460c Gen9 (аналог стоечного HPE ProLiant DL360 Gen9);


  • Дисковые массивы — например, HPЕ StorageWorks D2200sb, в который можно установить до 12 дисков 2,5». Так легко и непринужденно нескольким серверам можно выдать общее DAS-хранилище;


  • Коммутаторы SAN для доступа к внешним системам хранения и полноценные NAS-серверы — например, HPE StorageWorks X1800sb;


  • Ленточные устройства.

На картинке ниже изображена полностью укомплектованная система HPE BladeSystem c7000. Расположение компонентов понятно и так — обратите только внимание на секцию Interconnect modules. В каждый ряд устанавливается отказоустойчивая пара сетевых устройств или pass-thru модулей для простого проброса серверных сетевых интерфейсов наружу.


image alt text


В компактное лезвие HPE ProLiant BL460c Gen8 помещается только два диска 2,5». Для большей красоты вместо дисков можно использовать сетевую загрузку с дисковой системы SAN или PXE.


image alt text


Ниже изображена более компактная блейд-система от IBM. Общие принципы те же, хоты расположение узлов тут отличается:


image alt text


Интереснее всего в блейдах, на мой взгляд, сетевая составляющая. С использованием модных конвергентных коммутаторов можно творить настоящие чудеса с внутренней сетью блейд-системы.


Немного сетевой и Enterprise магии

В качестве сетевых модулей могут выступать специальные коммутаторы Ethernet или SAS, либо умеющие и то и другое. Разумеется, в блейд-систему нельзя установить обыкновенный коммутатор, но совместимые модели производятся привычными брендами. Например «великолепной тройкой» HPE, Cisco, Brocade. В самом простом случае это будут просто модули доступа к сети, выводящие все 16 лезвий наружу через 16 портов Ethernet — HPE Pass-Thru.


image alt text


Такой модуль не уменьшит количество сетевых проводов, но позволит подключиться к корпоративной LAN с минимальными вложениями. Если же вместо него использовать недорогой Cisco Catalyst 3020 с 8 портами 1GbE Ethernet и 4 портами 1GbE SFP, то к общей сети нужно будет подключить лишь несколько общих портов шасси.


image alt text


Такие сетевые устройства своими возможностями не отличаются от обычных. Значительно интереснее выглядят модули HPE Virtual Connect (VC). Главная их особенность — возможность создавать несколько отдельных сетей с гибким распределением полосы пропускания LAN и SAN. Например, можно подвести к шасси 10GbE и «нарезать» из него 6 гигабитных LAN и один 4Gb SAN.


image alt text


При этом VC поддерживает до четырех подключений к каждому серверу, что открывает определенные просторы для творчества и сборки кластеров. Подобные решения есть и у других производителей — нечто подобное от Lenovo называется IBM BladeCenter Virtual Fabric.


Вопреки расхожему мнению, сами по себе блейды не отличаются от обычных серверов, и никаких особых превосходств в плане виртуализации не предоставляют. Интересные возможности появляются только с использованием специальных, vendor-locked технологий, вроде VC от HPE или LPAR от Hitachi.

Несколько IPMI из одной консоли

Для настройки блейд-серверов можно использовать встроенные модули аппаратного управления BMC (iLO в случае HPE). Механизм администрирования и удаленного подключения мало отличается от обычного сервера, но сами управляющие модули Onboard Administrator (OA) могут резервировать друг друга и предоставляют единую точку входа для управления всеми устройствами в шасси.


OA могут быть со встроенной консолью KVM для подключения внешнего монитора, либо с одним лишь сетевым интерфейсом.


image alt text


В общем и целом, администрирование через OA выглядит следующим образом:


  1. Вы подключаетесь к веб-интерфейсу консоли Onboard Administrator. Здесь можно посмотреть состояние всех подсистем, отключить или извлечь лезвие, обновить прошивку и т.п.


  2. Если нужно добраться до консоли конкретного сервера — выбираете его в списке оборудования и подключаетесь к его собственному iLO. Тут уже весь привычный набор IPMI, включая доступ к образам и перезагрузку.


    image alt text



Еще лучше — подключить блейд-систему к внешнему управляющему ПО вроде HPE Insight Control или сменившей ее OneView. Тогда можно настроить автоматическую установку операционной системы на новое лезвие и распределение нагрузки кластера.


К слову о надежности — блейды ломаются точно так же, как обычные серверы. Поэтому при заказе конфигурации не пренебрегайте резервированием компонентов и внимательным изучением инструкций по прошивке. Если подвисший Onboard Administrator доставит лишь неудобства администратору, то неправильное обновление прошивок всех элементов блейд-системы чревато ее неработоспособностью.


Но за всей этой магией мы совсем забыли о приземленных материях.


Нужен ли блейд в вашей компании

Высокая плотность, небольшое количество проводов, управление из одной точки — это все хорошо, но оценим и стоимость решения. Предположим, в абстрактной организации нужно запустить разом 10 одинаковых серверов. Сравним стоимость блейдов и традиционных стоечных моделей HPE ProLiant DL. Для простоты оценки не беру в расчет стоимость жестких дисков и сетевого оборудования.


Блейды:


Наименование Модель Количество Стоимость
Шасси HPE BladeSystem c7000 1 603 125 ₽
Блок питания 2400W 4 -
Модуль управления HPE Onboard Administrator 1 -
Модуль сети HPE Pass-Thru 2 211 250 ₽
Лезвие HPE ProLiant BL460c Gen8 10 4 491 900 ₽
Процессор Intel Xeon E5–2620 20 -
Оперативная память 8 Гб ECC Reg 40 -
Итого: 5 306 275 ₽

Цены актуальны на 06.02.2017, источник — STSS
Аналоги — HP ProLiant DL360p Gen8:


Наименование Модель Количество Стоимость
Платформа HP ProLiant DL360p Gen8 10 3 469 410 ₽
Процессор Intel Xeon E5–2620 20 -
Блок питания 460W 20 -
Оперативная память 8 Гб ECC Reg 40 -
Итого 3 469 410 ₽

Цены актуальны на 06.02.2017, источник — STSS


Разница почти в два миллиона рублей, при этом я не закладывал полную отказоустойчивость: дополнительный модуль управления и, в идеале, еще одно шасси. Плюс, лишаемся удобной сетевой коммутации из-за использования самых дешевых pass-thru модулей для простого вывода сетевых интерфейсов серверов наружу. VIrtual Connect был бы здесь более уместен, но цена…
Получается, что «в лоб» экономии не выйдет, поэтому перейдем к остальным плюсам и минусам блейдов.


Еще немного аргументов

К очевидным плюсам блейд-систем можно отнести:


  • Плотность установки. Если нужно много-много серверов в одном ДЦ, блейды похожи на спасение;


  • Аккуратная и компактная кабельная инфраструктура за счет гибкой внутренней коммутации блейдов;


  • Удобство управления — всей корзиной можно управлять из одной консоли и без установки дополнительного ПО;


  • Легкая установка новых лезвий, пока есть место в шасси — прямо как с дисками в корзинах с горячей заменой. В теории, можно сразу при установке лезвия загружать настроенную систему по PXE и распределять ресурсы в кластере;


  • Надежность. Практически все узлы могут быть зарезервированы.

Но как же без минусов:


  • Ограниченность лезвия. Если нужен сервер с четырьмя процессорами и большим количеством локальных жестких дисков (например, NMVE SSD), то установка столь крупного лезвия в четверть всей емкости шасси делает бессмысленным использование корзины высокой плотности;


  • Надежность. Несмотря на дублирование компонентов присутствует единая точка отказа — коммуникационная плата (бэкплейн) шасси. При сбое могут отказать все лезвия;


  • Невозможность разделения. Если нужно создать территориально распределенный кластер, нельзя просто вытащить и перевезти половину серверов — потребуется еще одно шасси;


  • Стоимость. Само по себе шасси стоит как три лезвия, а лезвие стоит как полноценный сервер.

Так что же выбрать

Блейды очень органично смотрятся в действительно крупных ЦОД, вроде хостинговых компаний. В таких сценариях на первое место выходит скорость масштабирования и максимальная плотность размещения оборудования — экономия на пространстве и администрировании вполне может окупить и корзину, и всякие Virtual Connect.


В остальных случаях более разумным и универсальным видится применение обычных стоечных серверов. Кроме того, широкое распространение быстрых систем виртуализации еще больше снизило популярность блейдов, так как большинство приложений можно «уплотнить» и с помощью виртуальных серверов. Что уж говорить, управлять виртуальными машинами еще удобнее, чем блейдами.


Если вам доводилось использовать блейд-системы в не самых крупных компаниях — поделитесь впечатлениями от администрирования.

Комментарии (2)

  • 7 марта 2017 в 11:50

    0

    Изображение подобрано просто великолепно.
    • 7 марта 2017 в 12:09

      0

      Ну и чтобы не отвлекаться от темы: впечатления от использования c7000 и BladeCenter-H только положительные. Хотя, как по мне, блейды от HPE более просты и приятны в управлении.

© Habrahabr.ru