Конспект админа: блеск и нищета блейд-систем07.03.2017 12:33

В Конспекте мы часто обходим стороной enterprise-технологии из-за их малой применимости в не столь масштабных проектах. Но сегодняшняя статья — исключение, потому что речь пойдет о модульных системах, «блейдах».

Не так много архитектурных изысков в IT-мире, которые были бы окутаны большим ореолом «невероятной крутости» и сравнимым набором мифов. Поэтому не буду усложнять еще больше, и просто расскажу об особенностях и применимости такого рода систем на практике.

Блейд-сервер почти обычный сервер, в котором есть привычная материнская плата, оперативная память, процессоры и множество вспомогательных систем и адаптеров. Но «почти» заключается в том, что такой сервер не предназначен для автономной работы и поставляется в специальном компактном корпусе для установки в специальное шасси.

Шасси — или «корзина» — ни что иное, как большой короб с посадочными местами для серверов и дополнительных модулей. Все серверы и компоненты соединены при помощи большой коммутационной платы (Backplane) и образуют блейд-систему.

Если разобрать всю систему на составляющие, то на столе окажется следующая горка:

• Блейд-серверы (лезвия) — серверы без блоков питания, вентиляторов, сетевых разъемов и модулей управления;

  
  

• Шасси — корпус и бэкплейн;

  
  

• Системы питания и охлаждения для всех компонентов системы;

  
  

• Коммутационные устройства для связи с внешним миром;

  
  
• Модули управления (различные вариации на тему IPMI).

От обычного серверного шкафа все это добро отличается компактными размерами (обычно 6–10U) и высоким уровнем надежности, так как все компоненты могут быть зарезервированы. Здесь, кстати, кроется один из мифов: десяток лезвий не собирается в один большой сервер. Это будет просто десяток серверов с общей инфраструктурой.

К слову, у HPE есть решения, напоминающие традиционные blade-серверы — HPE Superdome. В качестве лезвий там используются процессорные модули с оперативной памятью. В таких решениях вся система действительно представляет собой один высокопроизводительный сервер.

Нюансы архитектурных решений разных производителей блейд-систем уже обсуждались на Хабре (статья хоть и старая, но в своих основах актуальная), поэтому я для иллюстрации использую блейд-систему от HPE — BladeSystem c7000.

В роли лезвий могут выступать:

• Обычные серверы, вроде HPE ProLiant BL460c Gen9 (аналог стоечного HPE ProLiant DL360 Gen9);

  
  

• Дисковые массивы — например, HPЕ StorageWorks D2200sb, в который можно установить до 12 дисков 2,5». Так легко и непринужденно нескольким серверам можно выдать общее DAS-хранилище;

  
  

• Коммутаторы SAN для доступа к внешним системам хранения и полноценные NAS-серверы — например, HPE StorageWorks X1800sb;

  
  
• Ленточные устройства.

На картинке ниже изображена полностью укомплектованная система HPE BladeSystem c7000. Расположение компонентов понятно и так — обратите только внимание на секцию Interconnect modules. В каждый ряд устанавливается отказоустойчивая пара сетевых устройств или pass-thru модулей для простого проброса серверных сетевых интерфейсов наружу.

В компактное лезвие HPE ProLiant BL460c Gen8 помещается только два диска 2,5». Для большей красоты вместо дисков можно использовать сетевую загрузку с дисковой системы SAN или PXE.

Ниже изображена более компактная блейд-система от IBM. Общие принципы те же, хоты расположение узлов тут отличается:

Интереснее всего в блейдах, на мой взгляд, сетевая составляющая. С использованием модных конвергентных коммутаторов можно творить настоящие чудеса с внутренней сетью блейд-системы.

В качестве сетевых модулей могут выступать специальные коммутаторы Ethernet или SAS, либо умеющие и то и другое. Разумеется, в блейд-систему нельзя установить обыкновенный коммутатор, но совместимые модели производятся привычными брендами. Например «великолепной тройкой» HPE, Cisco, Brocade. В самом простом случае это будут просто модули доступа к сети, выводящие все 16 лезвий наружу через 16 портов Ethernet — HPE Pass-Thru.

Такой модуль не уменьшит количество сетевых проводов, но позволит подключиться к корпоративной LAN с минимальными вложениями. Если же вместо него использовать недорогой Cisco Catalyst 3020 с 8 портами 1GbE Ethernet и 4 портами 1GbE SFP, то к общей сети нужно будет подключить лишь несколько общих портов шасси.

Такие сетевые устройства своими возможностями не отличаются от обычных. Значительно интереснее выглядят модули HPE Virtual Connect (VC). Главная их особенность — возможность создавать несколько отдельных сетей с гибким распределением полосы пропускания LAN и SAN. Например, можно подвести к шасси 10GbE и «нарезать» из него 6 гигабитных LAN и один 4Gb SAN.

При этом VC поддерживает до четырех подключений к каждому серверу, что открывает определенные просторы для творчества и сборки кластеров. Подобные решения есть и у других производителей — нечто подобное от Lenovo называется IBM BladeCenter Virtual Fabric.

Вопреки расхожему мнению, сами по себе блейды не отличаются от обычных серверов, и никаких особых превосходств в плане виртуализации не предоставляют. Интересные возможности появляются только с использованием специальных, vendor-locked технологий, вроде VC от HPE или LPAR от Hitachi.

Для настройки блейд-серверов можно использовать встроенные модули аппаратного управления BMC (iLO в случае HPE). Механизм администрирования и удаленного подключения мало отличается от обычного сервера, но сами управляющие модули Onboard Administrator (OA) могут резервировать друг друга и предоставляют единую точку входа для управления всеми устройствами в шасси.

OA могут быть со встроенной консолью KVM для подключения внешнего монитора, либо с одним лишь сетевым интерфейсом.

В общем и целом, администрирование через OA выглядит следующим образом:

1. Вы подключаетесь к веб-интерфейсу консоли Onboard Administrator. Здесь можно посмотреть состояние всех подсистем, отключить или извлечь лезвие, обновить прошивку и т.п.

   
   

2. Если нужно добраться до консоли конкретного сервера — выбираете его в списке оборудования и подключаетесь к его собственному iLO. Тут уже весь привычный набор IPMI, включая доступ к образам и перезагрузку.

   
   

   

   
   

Еще лучше — подключить блейд-систему к внешнему управляющему ПО вроде HPE Insight Control или сменившей ее OneView. Тогда можно настроить автоматическую установку операционной системы на новое лезвие и распределение нагрузки кластера.

К слову о надежности — блейды ломаются точно так же, как обычные серверы. Поэтому при заказе конфигурации не пренебрегайте резервированием компонентов и внимательным изучением инструкций по прошивке. Если подвисший Onboard Administrator доставит лишь неудобства администратору, то неправильное обновление прошивок всех элементов блейд-системы чревато ее неработоспособностью.

Но за всей этой магией мы совсем забыли о приземленных материях.

Высокая плотность, небольшое количество проводов, управление из одной точки — это все хорошо, но оценим и стоимость решения. Предположим, в абстрактной организации нужно запустить разом 10 одинаковых серверов. Сравним стоимость блейдов и традиционных стоечных моделей HPE ProLiant DL. Для простоты оценки не беру в расчет стоимость жестких дисков и сетевого оборудования.

Блейды:

Цены актуальны на 06.02.2017, источник — STSS
Аналоги — HP ProLiant DL360p Gen8:

Цены актуальны на 06.02.2017, источник — STSS

Разница почти в два миллиона рублей, при этом я не закладывал полную отказоустойчивость: дополнительный модуль управления и, в идеале, еще одно шасси. Плюс, лишаемся удобной сетевой коммутации из-за использования самых дешевых pass-thru модулей для простого вывода сетевых интерфейсов серверов наружу. VIrtual Connect был бы здесь более уместен, но цена…
Получается, что «в лоб» экономии не выйдет, поэтому перейдем к остальным плюсам и минусам блейдов.

К очевидным плюсам блейд-систем можно отнести:

• Плотность установки. Если нужно много-много серверов в одном ДЦ, блейды похожи на спасение;

  
  

• Аккуратная и компактная кабельная инфраструктура за счет гибкой внутренней коммутации блейдов;

  
  

• Удобство управления — всей корзиной можно управлять из одной консоли и без установки дополнительного ПО;

  
  

• Легкая установка новых лезвий, пока есть место в шасси — прямо как с дисками в корзинах с горячей заменой. В теории, можно сразу при установке лезвия загружать настроенную систему по PXE и распределять ресурсы в кластере;

  
  
• Надежность. Практически все узлы могут быть зарезервированы.

Но как же без минусов:

• Ограниченность лезвия. Если нужен сервер с четырьмя процессорами и большим количеством локальных жестких дисков (например, NMVE SSD), то установка столь крупного лезвия в четверть всей емкости шасси делает бессмысленным использование корзины высокой плотности;

  
  

• Надежность. Несмотря на дублирование компонентов присутствует единая точка отказа — коммуникационная плата (бэкплейн) шасси. При сбое могут отказать все лезвия;

  
  

• Невозможность разделения. Если нужно создать территориально распределенный кластер, нельзя просто вытащить и перевезти половину серверов — потребуется еще одно шасси;

  
  
• Стоимость. Само по себе шасси стоит как три лезвия, а лезвие стоит как полноценный сервер.

Блейды очень органично смотрятся в действительно крупных ЦОД, вроде хостинговых компаний. В таких сценариях на первое место выходит скорость масштабирования и максимальная плотность размещения оборудования — экономия на пространстве и администрировании вполне может окупить и корзину, и всякие Virtual Connect.

В остальных случаях более разумным и универсальным видится применение обычных стоечных серверов. Кроме того, широкое распространение быстрых систем виртуализации еще больше снизило популярность блейдов, так как большинство приложений можно «уплотнить» и с помощью виртуальных серверов. Что уж говорить, управлять виртуальными машинами еще удобнее, чем блейдами.

Если вам доводилось использовать блейд-системы в не самых крупных компаниях — поделитесь впечатлениями от администрирования.

Комментарии (2)

• mikkisse

  7 марта 2017 в 11:50

  0

  ↑

  ↓

  Изображение подобрано просто великолепно.

  • mikkisse

    7 марта 2017 в 12:09

    0

    ↑

    ↓

    Ну и чтобы не отвлекаться от темы: впечатления от использования c7000 и BladeCenter-H только положительные. Хотя, как по мне, блейды от HPE более просты и приятны в управлении.