Про HPE Synergy – часть IV. Наши сети
Часть I (Вступление) — habrahabr.ru/post/308224
Часть II (Шасси и сервера) — habrahabr.ru/post/310092
Часть III — Дисковое хранилище D3940 и SAS-коммутаторы — habrahabr.ru/post/310564
Эту часть логично разделить на два куска — сетевые карты в серверах и коммутаторы в шасси. Про карты уже говорили во второй части, но интересно обсудить детали отдельно. Кроме этого, надо отметить, что модули SY Composer, Image Streamer и FLM имеют свой бэкплейн, отдельный от общего, и по этому бекплейну информации нет.
Карт для серверов не сказать чтобы много — 5 штук, но в целом — достаточно. Три карты — Eth+FCoE, две карты — чистый Fibre Chanel. Как писал ранее, просто Ethernet-карты как класс не существуют. Все карты с PxE, то есть сервера с ними, могут загружаться по сети. И будут загружаться, для этого там Image Streamer«ы.
- SY 2820C can — контроллер QLogic, два порта по 10 Гбит/c; недешево, но уже сердито. Не поддерживает RDMA (remote direct memory access) — это вообще не частый гость в ИТ-инфраструктурах, хотя и передовой — позволяет напрямую адресовать память процессора одного сервера через сеть процессору другого сервера. Весьма требовательна к ресурсам сервера: одна карта отъедает 2 Гб от оперативной памяти сервера, хотя на самой карте стоит 1 Гб, из которых доступно для операций 900 Мб. Поддерживает Jumbo-фреймы — 9К. Так как от каждого мезанин-слота идет по 4 дорожки к коммутаторам, при агрегации портов можно выжать 40 Гбит/с Ethernet;
- SY 3820C 10/20Gb CNA — родственник предыдущей карты; контроллер QLogic, два порта по 10/20 Гбит/c (то есть симметричная десятка — 10 uplink, 10 downlink) — «проходим, не толкаемся». Также требует 2 Гб оперативки на карту. При агрегации уже можно выжать 80 Гбит/с. Разница между старшей и младшей картой в GPL — примерно 200 USD.
- SY 3520C 10/20Gb CNA — тут контроллер от Emulex, в остальных характеристиках, как предыдущая карта. Интересный момент, в конфигураторе HPE была, но сейчас уже нет, в статьях упоминается, но, например, на сайте HPE ее не найти, так же ее нет в HPE Product Bulletin, при этом гугль или яндекс без проблем находит ее на том же сайте HPE. Зато есть 4 топика про проблемы, возникшие при ее использовании — может, тут собака зарыта?
Поддерживаемые операционные системы:
Microsoft:
- Microsoft Windows Server 2012 and 2012 R2;
- Microsoft Hyper-V Server 2012 and 2012 R2.
Linux:
- Red Hat Enterprise Linux x64 6.7, 6.8;
- Red Hat Enterprise Linux x64 7.2;
- SUSE Linux Enterprise Server 11SP4×64;
- SUSE Linux Enterprise Server 12 & 12SP1×64.
Virtualization:
VMware ESXi 5.5 U3, 6.0 U2 (тут немного пугают — vSphere 6.0 U2 is the minimum version of VMware for UEFI FCoE Boot from SAN support. Boot from SAN via the iSCSI offload path is not supported for VMware).
Также во всех серверах есть 1 шт. 1 Гбит/c сетевая карта для iLO (удаленное управление).
Интересная фишка всех карт — поддержка HPE Sea of Sensors 3D; в каждом блейд-сервере есть 32 температурных сенсора, которые шлют свои данные через сетевую карту (а не через iLO) на блок управления шасси, которое оценивает распределение температуры в объемной модели.
Ниже табличка сравнительных характеристик, видимо немного устаревшая, так как сервера SY 620 Gen9 тоже поддерживаются.
Карты сети хранения данных:
- SY 3530C 16 Gb FC — обратно совместима с 8 Gb FC, способна обрабатывать до 600 000 IOPS«ов на каждом порту или 1,2 млн на одном, если второй отключен. Контроллер от Emulex.
- SY 3830C 16 Gb FC — все то же самое, только контроллер от QLogic (видимо для тех, кто не любит Emulex).
По стоимости GPL карта от Emulex на 400 баксов дешевле — это не мало. Кроме этого, в таблице ниже указано, что срок гарантии на карты — 1 год, а не 3 года, более нигде упоминаний об этом чудесном факте я не нашел, так что в будущем стоит иметь этот момент ввиду.
Переходим к коммутаторам, в таковые записаны:
- HPE Virtual Connect SE 40 Gb F8 (master module, то есть основной);
- HPE SY 40 Gb F8 switch module;
- HPE Virtual Connect 20 Gb interconnect link module;
- HPE Virtual Connect 10 Gb interconnect link module;
- Brocade 16 Gb Fibre Channel SAN switch module;
- HPE SY 10 Gb pass-thru module.
Коммутатор HPE Virtual Connect SE 40 Gb F8 — это один из ключевых элементов Synergy, в котором заложена немалая часть нового функционала (и мелким шрифтом — конкурент Cisco UCS Director). Пара коммутаторов работает в режиме active-passive.
Каждая пара коммутаторов предоставляет для каждого серверного отсека 16 downlink«ов (14 Ethernet и 2 FC), если в сервера поставлены карты 10/20 Gb CNA. Если поставлена 2820С, то возможны варианты — или 6 шт. Ethernet, или 4 шт. Ethernet плюс 2 шт. FC. Эти линки можно с помощью технологии Virtual Connect дополнительно нарезать на FlexNIC» и FlexHBA«шки.
Порт RJ-45, по центру, самый интересный, потому что подписан как «for future use». Два порта справа (L1 и L2) и два порта слева (L3 и L4) — порты связи между коммутатором и Interconnect Link модулями (о них ниже). Порты G7 и G8 — порты кластеризации между коммутаторами в шасси. Остальные порты (G1 — G6) — это 40 Гбит/с QSFP+ аплинки.
Покупать такой коммутатор в каждое шасси не обязательно, до трех (или пяти, но об этом ниже) шасси можно развернуть используя пару VC SE 40 Gb F8, и далее устанавливая модули HPE 10/20 Gb ILM (Interconnect Link Module).
Про технологию HPE Virtual Connect можно прочитать тут — HP Virtual Connect FlexFabric Cookbook (313 страниц) — тема весьма объемная, и раскрытие ее целью этот статьи не является. Или, если интересуют азы, тут можно бесплатно скачать Virtual Connect for Dummies — перед публикацией проверил — мне прислали =))
Далее — HPE Synergy 40 Gb Switch Module.
Основное отличие между модулями HPE Virtual Connect SE 40Gb F8 и HPE Synergy 40 Gb Switch Module, собственно, поддержка первым модулем технологий Virtual Connect и наличие в первом же лицензируемой функции поддержки FC. Из интересностей — поддержка устройствами Super Jumbo-фреймов — 12 Кб, которые пока не поддерживают CNA — ждем-ждем.
Модули HPE Synergy Interconnect Link 10G И 20 G — дополнительные модули в дополнительные шасси.
Подключаются они в два левых и/или в два правых порта на HPE Virtual Connect SE 40Gb F8. В чем особенность: модуль с одной «дыркой» (10G) позволяет подключить к головному шасси SY 12000 до 4-х дополнительных шасси (т.е. всего в одной сущности будет 5 шт. SY 1200 Frame), а с двумя дырками »20G» (т.е. всего в одной сущности будет 3 шт. SY 1200 Frame) — до 2-х дополнительных шасси, но на более высокой скорости. В случае подключения к основному шасси дополнительных шасси есть особенность — коммутаторы HPE Virtual Connect SE 40Gb F8 не устанавливаются парой в головное шасси, а разносятся по 1 шт. между основным (первым) и дополнительным (вторым) модулем. Пример подключения из 5 шасси представлен на картинке:
Что еще можно отметить? Архитектура неблокируемая, без переподписки; табличка ниже говорит, что RTT (round trip time latency) менее 8 наносекунд, более свежая документация (29 июля 2016 г.) пишет уже о «менее 5 наносекунд». Для того, чтобы такое чудо работало — соединяют модули специальными кабелями: или медными — кабель прямого подключения (DAC — Direct Attach Copper Cable) максимальной длиной 2,1 метра (т.е. только внутри стойки), или активными оптическими кабелями, максимальная длина — до 15 метров. По GPL ценнику самый длинный оптический кабель примерно в 6 раз дороже самого длинного медного.
Коммутатор сети хранения данных — неблокируемый, на текущий момент единственно возможный к применению. Выпускает коммутатор уважаемая компания Brocade, в коммутаторе 48 портов с автоопределением 4, 8 или 16 Гбит/с FC (кстати, можно воткнуть в порты 25–31 модули 8 Гбит/с SFP+), часть портов агрегируется. 12 портов к серверным отсекам, 8 портов внешних, и 4 группы аплинков QSFP (Quad Small Form-factor Pluggable).
Есть опция POD (ports on demand, лицензирование открытых портов по мере возникновения потребности) — хитрая функция извлечения денег из пользователя — «заплати за железо, а потом еще за то, чтобы оно целиком работало». Т.е., можно купить с 12 «открытыми» лицензированными портами (в любой комбинации внешних и внутренних портов), а если понадобиться больше, то докупить ключик на еще 12 портов или PowerPack (лицензии на дополнительный функционал). Две левые и две правые группы портов позволяют установить в них QSFP — 4×16 Гбит/с FC. Эти порты могут использоваться как индивидуальные порты 16 Гбит/с, как 64 Гбит/с FC ISL, или как 128 Гбит/с транк для подключения к SAN-директору. Для виртуальных сред поддерживает NPIV.
Минимальная версия FabricOS с которой поставляется коммутатор — FOS 7.2.0a.
К чему можно подключать.
16 Гбит/с FC коммутаторы и SAN-директора:
- SN8000B Director Switch (Enterprise);
- SN6500B Fibre Channel SAN Switch;
- Brocade 16Gb SAN Switch for HPE BladeSystem c-Class;
- SN6000B Fibre Channel Switch (Midmarket);
- SN3000B Fibre Channel Switch (Entry);
- Brocade 16 Gb SAN Switch for HPE c-Class BladeSystem;
- Brocade 16Gb Fibre Channel SAN Switch Module for HPE Synergy (к таким же коммутаторам в других шасси).
8 Гбит/с FC коммутаторы:
•
- 8/24 SAN Switch;
- 8/8 SAN Switch;
- Brocade 8 Gb SAN Switch for HPE c-Class BladeSystem.
Коммутаторы Virtual Connect:
- HPE Virtual Connect 8Gb 24-port Fibre Channel Module;
- HPE Virtual Connect 8Gb 20-port Fibre Channel Module;
- HPE Virtual Connect 16 Gb 24-port Fibre Channel Module;
- Virtual Connect FlexFabric 10Gb/24-Port Module for c-Class Blade System;
- HPE Virtual Connect FlexFabric-20/40 F8 Module for c-Сlass Blade System.
Мультипротокольные рутеры и шлюзы:
- Multi-protocol Extension Blade;
- SN4000B FC SAN Extension Switch;
- 1606 SAN Extension Switch.
Ниже таблица с возможными вариантами приобретения коммутатора:
Ну и напоследок — любимый модуль безопасников. Передает данные от 12 отсеков с блейд-серверами, автоопределение скорости, максимально — 10 Гбит/с. Своих мозгов нет никаких, автообнаружается, диагностируется, мониторится и все остальное через Composer.
Таблица соответствия портов подключения и отсеков, куда установлен PTM (PTM — Pass-thru Module, CM — Compute Module):
чтобы освежить память — 
Из каких-то нюансов можно отметить оригинальность поддержки — отдельно на модуль ее нет, только в составе шасси SY 12000.
На этом описание блока «Вычисление-Хранение-Передача Информации» можно считать завершенным, следующая статья будет посвящена Composer«у и Image Streamer«у. Отдельно хочу передать привет русскому маркетингу производителя — Composer — это в переводе «композитор», а не «компоновщик», а про перевод Image Streamer вообще говорить страшно.
