Бюджетный «датацентр» на Nutanix CE
Читающие наш блог не первый месяц знают, что год назад мы выпустили специальную версию ПО Nutanix, Nutanix Community Edition, котороый, в отличие от наших «взрослых» систем, продающихся вместе с аппаратной платформой, и стоящих довольно увесистых денег, можно скачать бесплатно, установить на свое железо подходящей конфигурации, и пользоваться. Да, на получившееся нет нашей классной (и даже русскоязычной!) поддержки (только наш англоязычный community-форум, впрочем, довольно активный и помогабельный), зато бесплатно, Карл! И хотя изначально мы планировали, что CE будет применяться в качестве учебной лабы, для экспериментов, знакомства с продуктом, и тому подобного, не секрет, что есть немало пользователей, которые решили взять CE и применить его в продакшне. Что-ж, это возможно, мы понимаем, времена для IT бюджетов в стране тяжелые, глупо было бы отказываться от такой возможности.
Но остается вопрос: как и из чего построить «идеальную платформу» под Nutanix CE, да так, чтобы и денег зря не потратить, и получить на выходе то, на что будет не страшно поставить продакшновые задачи. Поэтому в этой статье я попробую спроектировать такую dream-платформу под Nutanix CE с прикидкой на использование ее не в домашней лабе (о таком варианте я уже недавно писал в своем блоге), а для более или менее «боевых» задач.
Что-ж, начнем. Строить нашу «боевую» платформу под Nutanix CE мы будем вокруг материнской платы хорошо известной «в узких кругах» серверных сборщиков компании SuperMicro, наверное, самого именитого и популярного из вендоров Tier-2 разработчика серверных платформ.
Мы, в Nutanix, сами выбрали SuperMicro в качестве поставщика платформ (не секрет, что готовые бандлы Nutanix NX это платформы Supermicro определенной нами конфигурации, с нашим софтом на них), и опыт работы с SM у нас вполне положительный. Итак, берем Supermicro, тем более, что в огромном арсенале производимого SuperMicro серверного хабара нашлась идеально подходящая для Nutanix CE система, вот она:
Supermicro Mini-ITX 2133/1866/1600MHz ECC DDR4 Single socket FCBGA 1667 Motherboard (X10SDV-TLN4F-O)
Это материнская плата формата Mini-ITX (что уже необычно для серверного решения), на базе интересного CPU, выпущенного Intel в прошлом году: Intel Xeon D-1541.
Это низкопотребляющий (всего 45W) серверный процессор семейства Xeon, нацеленный на SoC (System-on-Chip) платформы. По производительности он примерно соответствует, например, E5–2620v4, то есть вполне ничего себе серверный Xeon начального уровня для однопроцессорных систем.
Он также включает в себя два интерфейса 10G, которые есть и на нашей материнке. Процессор имеет 8 физических ядер (16 c HT), 2,1GHz частоты, 12MB кэша и поддерживает до 128GB ECC RAM.
Из стоимости материнки примерно 600$, в результате, составляет как раз он.
Также под эту mini-ITX материнку SuperMicro выпускает симпатичный корпус, напоминающий форматом хорошо и справедливо любимый многими HP MicroServer, называется он: Supermicro Superchassis CSE-721TQ-250B Mini-Tower with 250W Power Supply.
Давайте рассчитаем, во что обойдется нам платформа для Nutanix CE, если мы решили на базе этого бесплатного решения построить платформу для серьезных «боевых» сервисов в компанию.
Я буду брать цены Amazon.com, валидные на момент написания текста. Хитрые технологии продвижения товара на Amazon используют тот факт, что товар поднимается в выдаче после того, как цена на него понижается продавцом, что провоцирует «оптимизаторов» на постоянные «качели» с понижением (и повышением позиции в выдаче), потом возвратом в прежней цене повыше, и снова «скидкой», с попаданием в список «лучший выбор». Так что если вы не увидите по моей ссылке приведенной цены, то, скорее всего, это оно. Подождите несколько часов, или поищите по названию товара другое размещение (часто от того же продавца, под чуть отличающимся именем).
Итак, начнем. Берем в корзину материнскую плату X10SDV-TLN4F-O
Это дает нам материнскую плату с процессором (он распаян на материнке, так как это SoC), кулером, сетевыми портами, но без памяти и дисков.
Supermicro Mini-ITX 2133/1866/1600MHz ECC DDR4 Single socket FCBGA 1667 Motherboard (X10SDV-TLN4F-O)
$899
Источник: www.amazon.com/Supermicro-Mini-ITX-1600MHz-Motherboard-X10SDV-TLN4F-O/dp/B010W32T62
Добавляем к ней корпус CSE-721TQ-250B
Supermicro Superchassis CSE-721TQ-250B Mini-Tower with 250W Power Supply
$185.99
Источник: www.amazon.com/Supermicro-Superchassis-CSE-721TQ-250B-Mini-Tower-Supply/dp/B00REWHHNU
Добавим память. Эта материнка поддерживает до 128GB DRAM DDR4 планками вида ECC RDIMM (регистровой) и 64GB ECC UDIMM (нерегистровой). Вполне солидная емкость для Mini-ITX сервера. Помню, что в Microserver даже с бубном больше 32GB не лезло.
Поставим 64GB двумя планками по 32GB, с запасом на расширение в будущем. Вот такая память нам точно подойдет (Amazon ее даже часто предлагает бандлом с нашей материнкой):
Samsung DDR4–2133 32GB/4Gx72 ECC/REG CL15 Server Memory M393A4K40BB0-CPB
$156.98×2
Источник: www.amazon.com/Samsung-DDR4–2133-Server-Memory-M393A4K40BB0-CPB/dp/B00×04FO9K
Теперь надо определиться с SSD и HDD.
Наша материнка имеет один слот становящегося все более популярным формата M.2, не буду останавливаться на том, почему это хороший выбор, вкратце — это, фактически, PCIe, поддерживающий NVMe. Сейчас Nutanix не поддерживает NVMe как таковой, только SSD, но мы работаем в этом направлении, следите за новостями.
Раз уж у нас есть этот интерфейс, давайте не будем жмотиться и поставим SSD именно в него.
SSD этого формата существенно дороже привычным всем SSD на интерфейсе SATA, но не просто так. Поэтому, раз уж мы собираем dream car, берем M.2 SSD, например, такой:
Samsung 950 PRO Series — 512GB PCIe NVMe — M.2 Internal SSD (MZ-V5P512BW)
$317.99
Источник: www.amazon.com/Samsung-950-PRO-Internal-MZ-V5P512BW/dp/B01639694M
Впрочем, если хочется вариант побюджетнее, то возможен и он, например, с таким SATA SSD:
SanDisk X400 SSD SATA 2.5» 7mm 512G SD8SB8U-512G-1122
$135.29
Источник: www.amazon.com/SanDisk-X400-SATA-512G-SD8SB8U-512G-1122/dp/B0196FPT1Y
UPD: Обсуждение статьи в нашей публичной группе в Telegram дало еще один вариант: SATA SSD Intel S3610 на 480GB, за практически те же деньги, что Samsung, но с, ориентировочно, более высокой устойчивостью к записям (мы его, кстати, используем в «больших» Nutanix NX)
Intel SSDSC2BX480G401 DC S3610 Series 480GB 2.5inch SATA 6Gb/s 7mm MLC SSD Bulk OEM
$337.75
Если вы ожидаете очень высокую интенсивность нагрузок на запись, то берите его.
Источник: https://www.amazon.com/Intel-External-Solid-State-SSDSC2BX480G401/dp/B00Q86RDNM
Выбор SATA SSD сейчас достаточно широк, выбирайте на свой вкус, Nutanix тут не диктует выбор модели, разве что не забывайте, что «много емкости SSD не бывает», и я рекомендую вам рассматривать емкость SSD для Nutanix по меньшей мере от 480GB (несмотря на то, что в минимальных требованиях указано 200GB, часть SSD также занимают данные самой системы Nutanix, и вашим данным останется на 200GB совсем немного).
Одного SSD, особенно такого быстрого, нам пока достаточно. Добавим к нашему серверу еще пару HDD, например, хорошо себя зарекомендовавших WD Red 2TB:
WD Red 2TB NAS Hard Disk Drive — 5400 RPM Class SATA 6 Gb/s 64MB Cache 3.5 Inch — WD20EFRX
$89.99×2
Источник: www.amazon.com/Red-4TB-Hard-Disk-Drive/dp/B00EHBERSE
Обратите внимание, мы не берем WD Black и RE, просто потому, что от скорости HDD в нашем случае ничего не зависит. Они хранят холодные блоки, поэтому высокая производительность именно SATA HDD нам не нужна, производительность будет обеспечиваться hot tier-ом SSD, так что вваливать денег в дорогие HDD мы не будем, выигрыша вы от этого особо не получите. В остальном же выбирайте тот HDD, который вам кажется более правильным и надежным, специальных требований со стороны Nutanix тут также нет.
Почти готово. Просуммируем все, чтобы получить итоговую цену:
899 + 186 + 157×2 + 318 + 90×2 = 1897 USD
Можно сюда добавить долларов 70 на доставку каким-нибудь майлфорвардером (я пользуюсь для себя Бандеролькой, подсев на их мармеладки; D, да и их пункт выдачи у меня рядом, но выбор на рынке есть, смотрите сами что вам по душе).
Итого, за ~1900 USD (то есть, фактически, дешевле, например, 15» MacBook Pro!), вы получаете современный, качественный, компактный, с малым энергопотреблением сервер (8 физических ядер, 64GB RAM, 2×10G, SSD), на который вы можете поставить наш Nutanix CE, и развернуть в нем виртуальные машины вашей компании.
По сути мы сейчас собрали примерный эквивалент самой младшей модельки Nutanix, что-то типа NX-1065S, односокетного сервера с одним SSD и 64GB RAM на CPU типа E5–2620v4. CE будет помедленнее на дисковых операциях, это связано с тем, что мы несколько по-другому, чем в «большом Nutanix» работаем с дисковыми устройствами (это было сделано для того, чтобы увеличить число поддерживаемых CE платформ), что приводит на той же платформе к ухудшению дисковой производительности процентов на 30, наверное. Но и это очень неплохо.
Какие у нас есть дальше варианты?
Во-первых, на одном сервере у вас не будет отказоустойчивости. Для серьезной системы это неприемлемо, поэтому сразу забиваемся на кластер. Nutanix CE поддерживает варианты из одного, трех, и четырех серверов в кластере. Обратите внимание, варианта с двумя серверами нет, как нет варианта и с большим числом, чем четыре. Два не позволяет обеспечить нужную отказоустойчивость и логику работы кластера, а если вам нужно больше четырех серверов в кластере — добро пожаловать в мир «больших ребят» :), вы переросли CE.
Сервера в кластер соединяются с помощью сетевых ethernet-интерфейсов. У нас их, напомню, на нашей материнке с избытком. Пара 10G Base-T и пара гигабитных. Будем использовать 10G раз уж он у нас есть. Но куда их будем подключать?
Вот уже пару лет как на рынке присутствует интересный продукт, который развеивает миф о том, что 10G — это супер-супердорого, и вообще это для гигантских энтерпрайзов, типа Газпрома, а мы не газпром, поэтому будем колхозить LACP на гигабитках Реалтек. Долой вот это вот все! :)
Докидываем в корзину вот это:
NETGEAR ProSAFE 8-Port 10-Gigabit Ethernet Web Managed Switch (XS708E-200NES)
$749.99
Источник: www.amazon.com/NETGEAR-ProSAFE-10-Gigabit-Ethernet-XS708E-200NES/dp/B01GTWPTJY
Да, это оно, 8-портовый (а есть варианты и на больше портов: 12, 16 и более) управляемый 10G свитч.
Я не стану говорить, что это убийца Нексусов, Арист, и что это лучший в мире свитч. Нет конечно. Но он есть, он 10G, у него достаточно паспортного bandwith на свитчинге для работы портов без oversubscribing-а, и он работает. Если у вас есть деньги на что получше — берите это получше. Но на сегодня эти нетгиры — лидеры в Price/Performance. Поискав по базару можно найти и варианты немного дороже (и немного интереснее), от того же Netgear, от Dell Networks, Mellanox. Но раз уж мы мастерим «бюджетно-бюджетно», возьмем этот Netgear.
Для отказоустойчивой свитч-фабрики берем их два, в каждый из них пойдет один кабель из пары портов 10GBase-T нашего сервера, и у нас еще останутся по 4 порта на свитче для каких-то внешних серверов, например, чтобы включить кластер во внешнюю сеть компании.
Далее, мы можем добавить памяти (не забывайте, что сам Nutanix CE примерно 12GB возьмет с хоста себе под свои нужды), у нас на это остались два слота в каждом сервере, мы можем поставить еще два HDD для хранения холодных данных, либо добавить SSD, либо сделать AllFlash (обратите внимание, что AllFlash хост нельзя смешивать в одном кластере с хостами с HDD, но можно смешивать в кластере разные хосты гибридной конфигурации, например с разным числом и объемом дисков).
В итоге, за сумму менее 10K USD мы получили высокодоступный гиперконвергентный виртуальный датацентр из четырех серверных хостов виртуализации совсем неслабой конфигурации, 10G сетевым бэкбоном, с прекрасными перспективами расширения (если возникнет такая необходимость), и полностью бесплатной софтверной гипервизорной частью. И все это в объеме 19» стойки всего около 8U.
По-моему, очень впечатляющий результат.
Комментарии (4)
3 августа 2016 в 16:28
0↑
↓
Впечатляет, жаль мне такое ни к чему, так бы попробовал.
shweew
3 августа 2016 в 16:41 (комментарий был изменён)
0↑
↓
Да уж, круто, 10 килобаксов на пробу, мне бы их хотя бы на посмотреть…:-))3 августа 2016 в 16:48
+1↑
↓
Ну, не у всех так плохо живется, что 10К ужос-ужос, не надо нагнетать. 10К на датацентр на 4 сервера и несколько активных десятков виртуалок это подъемно даже для малого бизнеса. Конечно такого, который может это загрузить задачами. А который не может загрузить, ему, конечно, и не нужно.
shapa
3 августа 2016 в 16:56
0↑
↓
кому на пробу — можно менее чем в 1000$k уложиться, роман статью делал у себя в блоге.http://blog.in-a-nutshell.ru/diy-lab-for-nutanix-ce-intel-nuc/
