Покупка современного сервера Intel c NVMe P4800X23.10.2017 19:47

Сентября 17 го года купил в личное пользование сервер стоимостью 7680$ у поставщика Тиском.
Поставил в Московский ЦОД tech.ru и приступил к эксплуатации.

Фото-отчёт в наличии. Статья состоит из 5 частей:

Зачем мне сервер.
Выбор конфигурации.
Выбор у кого покупать.
Выбор у кого размещать.
Проблемы с настройкой данного сервера.

Зачем мне сервер

В августе 2015 года удачно сложились обстоятельства, чтобы я начал делать онлайн игру.
У меня был довольно большой выбор каким долгостроем заняться. По ряду причин выбрал онлайн игру.

Начал её делать и за пол года напряжённой работы хорошо продвинулся, но внезапно сбережения кончились. Тем не менее я зашёл очень далеко в этом вопросе и далее продолжил дорабатывать онлайн игру в свободное от основной работы время. Игра требует много серверных ресурсов — для подсчёта рейтингов.

У меня уже 10 лет имеется личный сервер в Киевском ЦОД hvosting.ua. Достался он мне случайно: «Хочешь сервер вот такой-вот за 750 евро и платить только за место в стойке?», ну, а у меня тогда как-раз были лишние 750 евро и я согласился. Имеющегося сервера было достаточно примерно до 500 человек онлайн. Поэтому пришлось всех игроков просить «не рассказывайте никому про игру». И сейчас не хотелось бы никому показывать текущую версию, 5 человек активно играют — более чем достаточно на данный момент.

Стало ясно, что нужно брать или арендовать новый сервер.

Вариант с арендой я отбросил, потому что у меня есть позитивный опыт размещения своего
сервера длительностью 10 лет.

Есть негативный опыт закрытия успешного стартапа из-за дорого хостинга. Ну то есть надо было платить 600$ в месяц за хостинг, а доход в какой-то момент стал меньше 600$ в месяц.
Я соответственно не мог показывать это в портфолио — и я считаю это был нанесён чудовищный урон моему доходу вцелом.

Именно из-за этих двух причин я принял решение покупать сервер, а не арендовать.

То есть, если онлайн игра будет финансово несостоятельной — она всё-равно останется онлайн и будет доступна для портфолио. И расходы на её содержание будут вполне посильные даже при нулевом доходе от самой игры.

Кроме того, мне нужен сервер для нескольких некоммерческих сайтов и teamspeak сервера для крупной гильдии в известной онлайн игре.

Обзор всех комплектующих в данном сервере, ещё в коробках всё, сейчас будет распаковка

Выбор конфигурации

Я решил, что сервер должен тянуть 50000 игроков онлайн и 1000000 зарегистрированных игроков.

При достижении этих показателей — стартап перерастёт в бизнес и будет возможность купить новое необходимое оборудование. Но вообще почему именно 50000, а не 60000 — рассматривать не будем, статья не об этом.

Дальнейший выбор конфигурации — подбор параметров, под требуемые показатели.
На момент начала этой истории я довольно слабо разбирался в серверном железе и того, что мне на самом деле надо.

Полагаю, что ход мыслей и логика принятия решений будут очень интересны всем причастным к теме. Или людям принимающим решения.

Все комплектующие в своих коробках, сейчас начнётся распаковка и установка

Общие показатели

Для снижения финансовых рисков необходимо, чтобы ежемесячные траты были минимальны. Соответственно сервер должен быть 1U размером.

Серверная часть игры спроектирована таким образом, что почти всё можно запускать в многопотоке. То есть даже можно разделять задачу просчёта игрового мира между несколькими серверами.

Это значит, что при выборе «несколько производительных ядер» vs «много среднепроизводительных ядер» — надо делать выбор в пользу второго варианта.

Сделав некоторые замеры я решил, что для 50000 человек онлайн понадобится 50Gb оперативной памяти (опять таки статья не о том, почему столько).

Внезапно выяснилось, что игра делает очень много записей на диск. Значит это должен быть ssd и довольно мощный.

Должны быть какие-то hdd для бэкапов. Я из тех, кто «уже делает бэкапы».

Выбор процессора

Производитель процессора: Intel, AMD, МЦСТ.

AMD — я пытался пользоваться официальным сайтом AMD, но к сожалению там невозможно понять:

Какие процессоры у них вообще бывают. Удалось понять изучая не официальный сайт (всякие другие сайты).
Какие процессоры самые актуальные. На момент изучения — самые актуальные серверные процессоры были без поддержки DDR4. Дальше не стал изучать.

Решение отказаться от покупки AMD — очень неудобный сайт и устаревшие процессоры.
МЦСТ — это безусловно очень интересно, очень интересен сам факт существования процессоров российского производства. Которые даже возможно купить.

Невозможность купить от имени частного лица — сильно напрягло, но решаемый вопрос.
Невозможность изучить полные характеристики процессора, нет никаких тестов в открытом доступе. Пусть даже синтетических. Также отмечаю отсутствие поддержки DDR4 —, но это имхо простительно (для AMD такое не простительно). Решение отказаться от покупки МЦСТ было после осознания невозможности использовать команду «apt-get upgrade».

Intel — остаётся только этот вариант. Есть поддержка DDR4 памяти в последней линейке процессоров. Есть специальный раздел сайта в котором они вываливают простыню характеристик процессора — я там могу найти все интересующие меня характеристики.

Откручиваем радиаторы процессорные

Момент установки процессора E5–2630 v4

Установленный процессор E5–2630 v4 крупным планом

Количество процессоров

В свободной продаже есть серверные варианты 1х, 2х, 4х, 8х.
Вариант купить материнскую плату с несколькими разъёмами и со временем установить туда полный комплект — я решил не рассматривать.
Почему? Докупать оборудование это есть очень много времени, нервов и денег. Это в отличии от домашнего компьютера.

Варианты 4х-8х процессорные оказались невероятно дорогими и даже в самой скромной комплектации были с неподъёмной для меня ценой.
Однопроцессорные и двупроцессорные системы оказались для разных ниш рынка.
Вот список процессоров к рассмотрению (те, что начинаются на «E5–4» — неинтересны, они для 4х процессорных систем):
ark.intel.com/products/series/91287/Intel-Xeon-Processor-E5-v4-Family

Рассмотрим варианты «E5–1» — это процессоры для однопроцессорных систем.
Сразу бросается в глаза высокая базовая частота и высокий бурст, но количество ядер очень малое количество.
Вот например «E5–1660 v4» 8 ядер — 1113$, а процессор для двухядерой системы, но с меньшей частотой «E5–2620 v4» 8 ядер — 422$.
Цена в 3 раза меньше в пользу двухпроцессорной системы!
Вспоминаю, что для задачи гораздо полезнее больше слабых ядер, чем мало сильных ядер.
На этом было принято решение покупать двухпроцессорную систему.

Оба процессора E5–2630 v4 установлены в свои слоты

Нанесение термопасты на процессор

Намазывание термопасты на процессор

Модель процессора

Всё-равно остаётся довольно большой выбор процессоров, какой же выбор сделать.
Я обращаю внимание на приставки типа «L» или «W» или «A».
«L» — это низкое энергопотребление. Для меня это не интересно.
Если бы у меня была бы своя стойка в ЦОД — это имело бы значение, а поскольку у меня 1U и ни один ЦОД не хочет ставить счётчик к моему серверу — то это и важно.
«W» — повышенное энергопотребление, «A» — очень удачный экземпляр в линейке.
Довольно быстро можно заметить, что оставшиеся процессоры делятся на 2 группы.
Малое количество ядер+высокая частота, большое количество ядер+низкая частота.
Отбросим первую группу. Итого осталось (стоимость выше 1500$ за штуку я решил не рассматривать):
E5–2603, E5–2609, E5–2620, E5–2630, E5–2640, E5–2650, E5–2660.
Сразу отбросил слишком слабые процессоры: E5–2603, E5–2609, потому что денег точно хватит на 2шт E5–2620.
Остаётся 5 вариантов: E5–2620, E5–2630, E5–2640, E5–2650, E5–2660.
При детальном рассмотрении выяснилось, что их можно разбить на 2 группы по максимальной допустимой частоте памяти:
E5–2620, E5–2630, E5–2640 — 2133Mhz
E5–2650, E5–2660 — 2400Mhz

Рассмотрим 2 процессора из этой группы:
По частоте E5–2630 vs E5–2650 не отличаются. Разница только +2 ядра (и частота памяти чуть больше) и цена в 2 раза больше (или +600$)! Вторая группа отпадает из-за цены.

Теперь рассмотрим E5–2630 vs E5–2640:
Отличается только базовая частота +10%, а цена при этом в полтора раза больше. Убираю вариант E5–2640. Непонятная переплата для меня.

Остаётся только E5–2620 vs E5–2630:
Разница в цене 250$, и за них мы получаем +10% к частоте и +2 ядра.
Я готов за такую цену получить такую надбавку.

Итого выбор сделан: Intel Xeon Processor E5–2630 v4

Установка радиатора на процессор

Закручивание радиатора на процессоре

Как процессоры видны в bios

Выбор объёма памяти

Напоминаю: на уровне идеи — я решил, что мне надо ~50Gb памяти.
В интернете я нашёл, что сбор сервера с памятью не кратной двойке — это вполне приемлемо.
Но всё-равно. Из соображений, что вся память должна работать одинаково — чтобы мне не надо было парится какому ядру насколько сложную задачу подавать — я решил, что количество памяти должно быть кратным двум.
Соответственно получается, что надо ставить 64Gb памяти.
Серверная часть игры написана таким образом — что на стороне сервера полностью просчитывается весь игровой процесс.
Таким образом читерство невозможно. Однако если вдруг памяти не хватит, чтобы полностью поместится в памяти всем игрокам онлайн — будет маленькая катастрофа, игра просто не запустится, а мне надо будет срочно делать какой-то хотфикс. Для возможности сбрасывать на диск промежуточные вычисления.
Ещё выяснилось, что если установлено много плашек памяти — то падает скорость общения процессора с памятью.
Поэтому если я сейчас куплю 64Gb, а потом докуплю ещё столько же — это будет гораздо хуже, чем если я сразу куплю 128Gb.
Разница в цене оказалась вполне посильная, возможно даже хватило бы на 256Gb, но лишней 1000$ не оказалось, весь резерв в итоге ушёл в ssd.

Установка плашек памяти, внимательный суслик тут может заметить 2400 память. На самом деле эта память тут для фоток, нужная память приехала в самый последний момент.

Выбор количества плашек памяти

Я уже знал, что если поставить слишком много плашек памяти — то она будет работать существенно медленнее, чем если поставить меньше плашек памяти.
Так и что — лучший вариант это ставить одну плашку на 128Gb?
Оказывается у процессоров есть такое понятие как «каналы памяти». Самый лучший вариант — в каждом канале памяти по одной плашке памяти.
Это правило оказывается работает и для игровых/рабочих компьютеров. Удивительно, что всякие блогеры не доносят эту простую мысль до публики.
У моём случае получается 2 процессора, и у каждого процессора по 4 канала памяти. То есть для моего случая лучше всего поставить 8 плашек памяти.

Итого выбор: 8×16Gb

Установка плашек памяти

Выбор модели памяти

Выбор оказался не велик. Во первых выбор вообще на данный момент — это 2133 и 2400. Но процессор тянет 2133. Есть ли вообще смысл брать 2400?
Оказывается не только смысла нет, но ещё и вредно (для моего случая). Оказывается доступ к памяти выполняется за 17 тактов у 2400 памяти, и за 15 тактов у 2133 памяти.
Но у меня процессор не может работать с 2400 памятью, он будет с ней всё-равно работать на частоте 2133. Однако, если бы процессор был E5–2650 v4 или выше — тогда наоборот выгоднее было бы ставить 2400 память.

Следующий фактор — это LRDIMM. Это технология позволяющая устанавливать больше памяти на сервер и при установке максимум планок — такая память работает быстрее, чем если бы без LRDIMM.
LRDIMM — это обычная серверная память + какие-то чипы дополнительные. Соответственно и цена +20% примерно.
Для меня соответственно LRDIMM не нужен, потому, что я не устанавливаю память в каждый слот.

Теперь производитель.
Среди серверной памяти оказывается производитель не имеет значения. Я вот не пойму как такое возможно —, но факт.
Синтетические тесты одинаковые. Данные memtest примерно одинаковые.
Для Kingston памяти я нашёл варианта: 2 варианта насыщенности чипов, но и даже в этом случае функциональной разницы нет.

Общий вид на установленные процессоры и память

Как память видна в bios

Выбор дисковой подсистемы

Когда я первый раз составлял желаемую конфигурацию сервера — я хотел 1 ssd на 240gb и один hdd на 2tb.
По мере выяснения того, что мне надо — менялась и понимание чего мне надо на самом деле.
Мне пришлось узнать, что ssd диски бывают очень-очень разные. Что на серверах лучше использовать raid1.
Что появилось новая технология NVMe и у неё куча вариантов есть. Raid контроллеры бывают очень разные под разные задачи.

Давайте по порядку. Начиная с «а что надо для задачи?».
Надо 200Gb ssd диска, способного выдерживать очень много перезаписи. И 2Tb hdd для надёжных бэкапов.
«очень много перезаписи» — при очень примерных расчётах это 1–2Tb в день.
Надёжные бэкапы — это значит raid1 конфигурация. Аппаратный или программный raid — это вопрос величины трудозатрат, квалификации и ответственности при починке raid.
С точки зрения управления выбор получается такой:

Программный raid — нужна квалификация для починки raid, малейшая ошибка и данные утеряны. Но дешевле.
Аппаратный raid — просто заменить неисправный диск и всё. Но дорого.

Соответственно Тиском посоветовал самый дешёвый из современных аппаратных raid контроллеров, который позволял бы вот так просто чинить возможную поломку.
Это: ark.intel.com/ru/products/82030/Intel-Integrated-RAID-Module-RMS3CC040
Я обращаю внимание, что это raid контроллер для материнской платы Intel. То есть, если я бы выбрал платформу не Intel — то мне пришлось бы брать что-то другое и занимать аж целый pci слот.

Понятия не имею что это. Или что-то связанное с шифрованием или что-то связанное с raid картой

Подготовка raid карты к установке

Установка raid карты

Как raid контроллер виден в bios

Модель HDD

Я собирался покупать Western Digital по причине того, что у меня очень позитивный опыт использования таких hdd для домашних компьютеров.
Но Тиском заявили, что они смогут только в течении недели сделать замену (по гарантии или без). И предложили HGST — сказали, что смогут сделать замену в течении суток.
Стал в интернете искать что пишут про надёжность HGST — вроде нормальные отзывы, и согласился с таким выбором производителей дисков.
Далее объём. 2Tb надо, хорошо. А что у нас дороже? +1Tb на 70$ дороже, ну я же потом себе не прощу, что сэкономил на объёме, и если мне вдруг потом понадобится ещё места. Ну и далее по линейке аналогично по чуть чуть увеличивается объём и по чуть-чуть увеличивается цена.
Между 6Tb и 8Tb проходила моя граница возможности бюджета.

Итого выбор: 2шт 6Tb HGST HDD.

2 HDD HGST 6Tb

Установка какой-то части raid контроллера для корзины с HDD

Подключение корзины с HDD к Raid карте RMS3CC040

Выбор типа SSD

Первый вариант: просто поставить 1шт ssd 200gb.
Далее я узнал, что чем больше ssd — тем больше у него ресурс перезаписи (при прочих равных). И, чтобы быстрее эту перезапись мог выполнять.
Например у меня будет 200gb данных и объём 240gb vs объём 1000gb. Так вот при прочих равных — ресурс перезаписи большого объёма будет в 4 раза больше.
Уж пусть специалисты меня простят, но для принятия решения — это совсем не очевидно.

Далее я понял, надо жи raid1 использовать и надо 2 таких ssd. Да, пусть даже делаются бэкапы хоть каждый час и не страшно будет потерять единственный ssd.
Но там жи ОСь, настройки всего. Актуальная БД. Прийдёться потратить срочно очень много времени и сил на восстановление.

Ssd выдерживающий 2tb в день перезаписи стоит очень дорого. А ещё надо запас какой-то по этому показателю иметь.

Далее я узнал про технологию NVMe. Это по простому: ssd диск подключённый не как обычно, а через pci слот.
Полоса данных больше и быстрее — это для моей задачи важно. Немедленно встал вопрос —, а можно ли объединить их в raid?
Оказывается можно, но в продаже подобных raid контроллеров нет. Есть опытные образцы с неизвестной ценой.
Вобщем на момент покупки — это был неприемлемый вариант.

Ещё один фактор принятия решения: вот скажем я купил 2 дорогих ssd диска, объединил их в raid.
Но ресурс перезаписи у них одинаково быстро расходуется. И что я получу? Что они выйдут из строя одновременно?
Далее я выяснил, что чаще всего ssd выходят из строя не по причине выедания ресурса перезаписи, а из-за поломки контроллера в ssd.
Да, для этого raid будет актуален.

И вот выбор получается между pci-ssd (NVMe) и raid1-ssd. И с учётом приведенных выше размышлений для меня однозначно лучше pci-ssd. Ну просто тупо нет ещё 2000$ на резервный ssd, а если бы и были — то надо брать 2U систему и ещё за 400$ покупать корзину. Ну и или покупать в 10 раз хуже ssd.
Ну да, я готов доверится известному брэнду (в данном случае Intel), в надежде, что у них достаточно надёжный девайс, чтобы заявленный срок и ресурс отработал без сбоя.

NVMe P4800X устанавливают в райзер

Выбор модели NVMe

В ssd меня интересует iops на запись, скорость выполнения отдельной операции, объём, ресурс перезаписи.

Пересмотрев характеристики тысяч ssd, я считаю, что в моём случае надо в первую очередь смотреть на заявленное количество перезаписей.
Почти все ssd можно разделить на группы по количеству перезаписей своего объёма в день, в течении 5 лет. Группы: 0.3, 1, 3, 10, 30, 100.
Почти всегда точное соответствие между ресурсом перезаписи и iops на запись.
Отдельно выделяются ssd, чтения с которых выполняется с невероятным количеством iops, но относительно слабенький на запись. Такие мне для этого сервера не интересны.

Производители: Intel, HGST, Huawei, HP, OCZ.
Всяких разнообразных ssd — невероятное количество. Честно говоря — я слабо представляю как вообще люди объективно выбирают ssd нужный.
Ssd всяких так много, они такие разные, разброс цен такой огромный.

С моей точки зрения лучше всех сгруппировала продукты Intel.
Они сумели разбить все ssd на группы так, что я смог сформировать мнение какой девайс мне нужен, а какой нет.
3 линейки NVMe pci-ssd: P3500, P3600, P3700. По 400Gb:
P3700 — 75000 iops — 1000$, 10 перезаписей в день
P3600 — 30000 iops — 650$, 3 перезаписи в день
P3500 — 23000 iops — 600$, 0.3 перезаписи в день

Собственно очевидно, что P3500 сразу отпадает. За 50$ десятикратное увеличение важного мне параметра.
Готов ли я за 350$ получить ~в полтора раза больше iops и в 3 раза больше ресурс перезаписи? Канешна, да.
И вот я собрался покупать P3700 на 400Gb, но за пару месяцев до покупки появляется в продаже P4800X.
Он стоит почти в 2 раза дороже P3700. Чуть меньше объёма. iops на запись 500000. Ресурс перезаписи 30.
То есть итого за 800$ я получаю в 8 раз больше iops и в 3 раза больше ресурс перезаписи.
Ну честно говоря по показателю iops — он просто прекрасен и не смотря на то, что достать дополнительные 800$ было не просто — я решил таки покупать такой ssd.
Бонусом идёт более быстрая запись каждой отдельной команды.

Выбор: www.intel.com/content/www/us/en/products/memory-storage/solid-state-drives/data-center-ssds/optane-dc-p4800x-series/p4800x-375gb-aic-20nm.html

Райзер с NVMe P4800X устанавливают

NVMe P4800X установлен

Как NVMe виден в bios

ИМХО про ssd

Отдельно хочу отметить, что существует тип ssd SLC/MLC/TLC/QLC.
Смысл разницы понятен: В одну физическую ячейку записывается сразу несколько битов данных. Соответственно SLC — только одну. MLC — два. TLC — три. QLC — четыре.
Слева направа — от дорогого к дешёвому. За счёт скорости записи, чтения, ресурса перезаписи.
SLC — самые надёжные, самые быстрые и… чудовищно дорогие.
Например «Micron RealSSD P320h» волосатое чудовище объёмом 350Gb всего за 5000$. Заявленный iops на запись 350000. Неограниченный ресурс перезаписи.
MLC — бывают очень разные. Это ж на заводе делают кучу чипов памяти, что-то получилось удачным — засовывают в серверный вариант, что-то не очень — засовывают в домашний вариант ssd.
TLC — раньше делали откровенно быстро выходящие из строя, сейчас вроде как делают хорошие. И пытаются сделать представление, что TLC — это хорошо (чтобы старые раскупили глупые покупатели).
QLC — пытались делать, но видимо товарный вариант никому не получилось сделать.

Вот Intel недавно выпустила 3D-XPoint, это какой-то новый тип памяти. Как по мне — слоёный пирог из ssd чипов.

Выбор материнской платы

Для серверов в отличии от домашних компьютеров к выбору материнской платы подходят совсем по другому.
Для домашнего ПК размер собственно компьютера не важен, а для сервера — надо всё-всё засунуть в 1U (Это 4.3 сантиметра!).
Отсюда немедленно появляется другой подход к подбору материнских плат.
Продаются не материнские платы, а платформы. То есть материнская плата+корпус.
Тот, кто продаёт только материнские платы отдельно — немедленно проигрывает в конкурентной борьбе.

Платформы под данный процессор бывают от разных производителей.
С небольшими возможными модификациями, на сайтах можно указать ссылку только на конкретную модификацию (о модификация скажу чуть позже):
Производителей HP и Dell — я рассматривать не буду по причине чудовищной переплаты непонятно за что.
Supermicro:
www.supermicro.com.tw/products/system/1U/6018/SYS-6018R-WTRT.cfm
Asus:
www.asus.com/ru/Commercial-Servers-Workstations/RS500E8PS4-V2
Intel:
ark.intel.com/products/88274/Intel-Server-System-R1304WTTGSR
Отдельно Intel:
ark.intel.com/products/89006/Intel-Server-System-R1304WFTYS

Выбор из этих четырёх вариантов — это самый дешёвый вариант подходящий по всем требованиям от каждого из перечисленных производителей.
Цена у них примерно одинаковая получается.
Вариант R1304WFTYS отпадает сразу как только вижу 1100W мощность БП (почему это важно — об этом позже).

Про ASUS я подумал так, что они недавно вылезли на рынок серверных материнских плат, непонятно чего я буду рисковать.
Про supermicro — они собственно только серверными платформами и занимаются уже очень давно.
Но… raid контроллер. Или я беру Intel платформу или мне нужен другой контроллер и занимать слот PCI.
Поэтому я решил выбрать Intel платформу R1304WTTGSR. Но отмечаю, что она на 10% дороже аналогичной платформы от supermicro.

Модификация: с 10 gbit ethernet. Разница в цене 100$, а если мне вдруг понадобится жирный канал — не хотелось бы трогать сервер и устанавливать туда чего-то. А мне скорей всего понадобится жирный канал для момента старта игры.

Платформа R1304WTTGSR запакованная в ящик

Вот что мы видим при первом открытии новой платформы R1304WTTGSR

Все комплектующие установлены, осталось закрыть крышку

Вот такие сведения о платформе видны в bios

У кого покупать

Разумеется в первую очередь обратился к hvosting.ua, ведь я с ними уже более 15 лет сотрудничал получается.
Да и объём сделок превышает стоимость обсуждаемого сервера. Но размещение сервера в Киеве после известных событий 2014 года — неприемлемо из соображений безопасности оборудования.
hvosting.ua предложил мне размещение в ЦОД ttc teleport в Праге. Но обсуждение прекратилось на вопросе «я хочу бумажку имеющую юридическую силу о том, что я владелец сервера».
Ну уж простите, я уже не студентик всецело всем доверяющий.
Однако, если кому-то очень надо чего-то хостить в/на Украине — я рекомендую hvosting.ua был uptime ~1200 дней, потом плановый перенос сервера в соседний ЦОД и ещё uptime 700 дней.
Далее я пытался сделать «apt-get upgrade» без перезагрузки сервера :). Не вышло у debian, само не смогло обновится за 2000 дней — какую-то зависимость разрулить не смогло само.
Hvosting помогли разрулить.
Вобщем за 15 лет не было ни одного сбоя питания и канал падал на 15 минут каждые 4 месяца, 2 раза канал упал на несколько часов.
Особенно доставила сломанная oauth авторизация vk (у них же там vk заблокирован).

Обзор рынка

Стал вопрос о покупке в РФ и размещение тоже в РФ.
Почему покупка и размещение в РФ? А чтобы я был бы юридически защищён.
Был приятный момент, в самом начале поиска — выбор наилучшего поставщика, никаких рекомендаций, никаких предвзятостей — все равны.
Помню как начал с банального поиска «datacenter в россии» (потом я уже выяснил, что в РФ это называется ЦОД). И «купить сервер в россии».

Думаю будет правильно рассказывать в хронологическом порядке.
05.12.2016

Brigo

В начале был очень конструктивный разговор, с интересным предложением.
Я изучал возможность варианта raid1-NVMe, задал вопрос могут ли они на платформу intel поставить raid1-NVMe?
Внезапно получил на этот вопрос: грубый отказ от ответа (меня бы кстати устроил бы и просто ответ «нет», я просто реально был не в курсе этого дела).
Дальше не хотелось с ними общаться.

У них первых я увидел P4800X в продаже и поэтому решил у них поспрашивать детали покупки.
Разговор закончился на том, что без моего личного присутствия в Москве совершить сделку невозможно.

05.12.2016:

Unit Solution

У себя на сайте пишут, что 12 лет опыта. И прочие крутые показатели.
DNS whois показывает что домен был недавно зарегистрирован (за 3 месяца до рассмотрения).
У меня немедленно возникает к ним вопрос: «почему такие расхождения?».
Оказывается до этого была другая компания к которой остались отзывы в интернете типа «оплатил давно, нет ни сервера ни денег».
Можно было бы простить спецов, создавших новую компанию после работы с нехорошим директором.
Но к сожалению, то что они написали — не сходилось с историей DNS.
Решил, что риски неприемлемые, хотя цену они предложили интересную.

08.12.2016:

ItTelo

Граждане торгуют Б/У оборудованием. Тогда я ещё рассматривал такие варианты.
Со временем решил не рассматривать, потому что DDR4 Б/У нет.
sdd-hdd Б/У лучше не брать в любом случае. Ну и получается им нечего мне предложить.

08.12.2016

It paradigma

Это региональный поставщик оборудования. Впринципе хороший вариант — они же рядом.
Тогда ещё думал, что может есть приличный ЦОД в Краснодаре, но нет — если и есть приличные — то забиты под завязку.
Парадигма загнули цены вверх и не стали отвечать на мои глупые вопросы.

12.12.2016:

Тринити

Вот такая вот ссылка рабочая до сих пор: server.trinitygroup.ru/expert/25736
Насколько я помню — меня смутила цена.
Честно говоря, даже сейчас я смотрю на данную цену и не понимаю откуда такая большая цена.

12.12.2016

Тиском

Их порекомендовали ЦОД tech.ru типа они сами с ними сотрудничают.
Выслушал все мои хотелки — подобрал именно то, что соответствовало моим хотелкам того времени. По прекрасной цене.
Далее стал раскапывать DNS whois и отзывы в интернете.
DNS whois соответствовал описанному в переписке. При расследовании вскрылось много любопытных деталей.
Выяснилось как компания основывалась, кем, как менялась. Нашлось как меняли сайт и попросили отзвывов о нём где-то оставить.
Нашлись сотрудники компании. Нашлись позитивные и негативные отзывы.
Негативный отзыв — видимо для офисных серверов не стоит выбирать Тиском.
Всё это говорило о том, что компания старая и чем-то активно занимается постоянно.

Ещё я проверил сертификат Intel — он был хоть устаревшим, но настоящим. Проверил ещё какой-то случайный сертификат — тоже настоящий. На сём остался очень доволен.

Также имеется https. Тоже добавляет очков в сторону выбора их компании.

С самого начала выглядело как очень хороший вариант.

12.12.2016

stss

Первое общение — положительное. Но цена — просто нет слов какая большая.
До сих пор тут висит озверевший от жадности пример:
new.stss.ru/configurator/server_platform/server_intel/server_intel_rackmount/intel_r1304wt2gs/model=2654257.html
Выбираем 400Gb NVMe 75k iops. Это у нас соответствует Intel P3700. Получается, что все продают эту железку за 60000±, а они её толкают за 90000.
Ну ладно, может этот новый сайт с багом каким-то?… Но нет, это не баг. Вот находим это же на основном сайте со старым дизайном:
stss.ru/products/servers/T-series/TX217.4–004LH.html? config=
Тут в соответствующем месте выбираем ту же железку и тоже получаем +90000 к стоимости.

50% бонусного навара это безусловно очень выгодно, но извините, мы подём другой дорогой.

12.12.2016

Desten

Вообще это был очень приличный вариант и DNS whois и отзывы — выглядели хорошо.
Но на вопрос «могут ли они без моего присутствия доставить сервер в ЦОД?» не ответили.
Так бы всеръёз выбирал между Тиском и Desten.
Был бы у них более терпеливый саппорт — возможно я бы сервер в итоге у них купил.

13.12.2016

Server-gid

Они мне просто прислали конфигурацию и цену — я ужаснулся и ничего не ответил.
Теперь я смотрю — цена адекватная, а почему раньше ужаснулся — потому что не понимал смысла слова «DWPD».
Судя по всему у меня с ними был телефонный разговор какой-то.

14.12.2016

Itelon

Граждане пытались продать мне Dell оборудование. Опять я вижу переплату за брэнд вообще непонятно за что.
Сотрудник объясняет мне, что переплата за оперативную помощь.
Но я чего-то не понимаю — сервер стоит в стойке ЦОД tier3. Никто его ногами бить не будет.
Кроме заводского брака — ничего там не может случится.
Плюс они заявили, что не могут как Тиском без моего присутствия установить сервер — непонятно было о чём дальше говорить.

10.01.2017

Server-city

Сейчас я у них на сайте вижу скуденький конфигуратор серверов. Тогда у них был только сайт-визитка.
И там было написано, что рассматривают варианты рассрочки, я и решил спросить на эту тему.
Сказали, что такие малые суммы для рассрочки не интересны.
Сервера у них DELL/HP — что имхо переплата не пойми за что.

Разрешите обосновать моё невольство этими компаниями.
www.regard.ru/catalog/? query=2620+v4
Мне кто-то объяснит чем отличается «Intel Xeon E5–2620 v4 OEM» и «Dell Xeon E5–2620 v4 (338-BJEU)»?
Я вот вижу только разницу в цене в 2 раза! Сами кристаллы процессоров делают Intel.
Готов поверить, что они припой ставят другой, ну ок +50$ готов понять.
Объясните мне глупому за что компания DELL в данном примере берёт +500$?

Видимо как-то удачно у них сработала напоминалка и они мне позвонили за неделю до окончательного согласования конфигурации с Тиском.
Попытались перехватить меня как клиента в последний момент. Но… цена оказалась выше чем у Тиском.

Ebay

А также бандеролька, ComputerUniverse, ogg и прочие площадки.
Вариант, что доставляют мне в глубинку, а я потом как-то доставляю в Москву — выглядит ужасно.
Мало того, что весь профит от отказа от посредников выедается стоимостью доставки.
Так ещё и времени невероятно много съест.
И главное — риски повредить появляются (ударить об что-то например).

Вариант с доставкой в Москву — нужно где-то помещение, где я смогу собрать сервер плюс личное присутствие.
Плюс трансторт между точкой выдачи, точкой сборки и ЦОД.
Плюс риск накосячить при сборке (еси ж там второстепенный проводок не так подключу — не будет возможности исправить).

Самоу побегать по Москве

Я обратил внимание, что цена колеблется по каждой железке в разных магазинах.
То есть можно побегать по Москве купить дёшего в раных магазинах.
Но опять таки риски кривой сборки. Личное присутствие, место для сборки и транспорт по городу.
И вопрос —, а где профит от данного мероприятия?

Местный магазинчик

В глубинке разумеется есть магазины и они готовы за долгий срок доставить что угодно за