Как я собрал себе домашний «Эльбрус» и как было надо03.01.2023 05:02

Всем привет и на этот раз с наступившим :-)

Это вторая статья — та, которую начал было новогодним вечером по ещё осенней задумке, но к которой как раз и понадобилась первая в качестве вводной. Возможно, получится отдельно описать и темы, намёки на которые были предложены в опросе.

В любом случае нижеизложенное в большей степени является самоиронией, чем суровым техническим обзором — хотя желающие, как обычно, найдут в нём что угодно.

Краткий вариант моих «Приключений Робинзона Крузо»: в мае 2022 года принял решение и приступил к закупкам (материнская плата и кулер); за июнь-июль закрыл вопрос с памятью и параллельно доводил дистрибутив; к августу машинка в нулевом приближении заработала (но удавалось поймать нестабильную работу DDR4 именно на 3200) —, а в сентябре после отпуска сложились завершающие кусочки: бутовщики довели прошивку в части таймингов и приехала SSD от GS Nanotech; оставалось свести всё воедино, поставить систему и перетащить ключики, что и было сделано.

Краткий вывод: занимайся своим делом, уделяя ему должное внимание; умел пять лет назад — может, умеешь и сейчас, но внимание понадобится вдвойне.

Ну, а более полное изложение — на основании сентябрьских записок по свежим следам.
Итак…

«Жизнь и удивительные приключения Робинзона Крузо,
моряка из Йорка, прожившего 28 лет в полном одиночестве
на необитаемом острове у берегов Америки близ устьев реки Ориноко,
куда он был выброшен кораблекрушением, во время которого
весь экипаж корабля кроме него погиб;
с изложением его неожиданного освобождения пиратами,
написанные им самим»

Домашний эльбрус хотел себе давно; впрочем, работая на 801-РС с весны 2018 года и имея под рукой целый выводок стендовых машин и четырёхпроцессорных серверов, вроде бы как должен был успокоиться и умело применять уже имеющуюся матчасть («мужчина от мальчика отличается ценой игрушек»).

Но проведя испытания приехавшей к нам под самый конец года 2021 платы 1Э16С-uATX, понял, что это тот самый эльбрус, который и нужен мне дома: куда шустрей привычного 8С (и более нового 8СВ), с виртуализацией и даже набортным USB3.

Когда по весне выдалась оказия купить одну из трёх однотипных плат у старых друзей (обычно они продают готовые системы, но тут по причине эксклюзивности случая сделали исключение), обдумал всё ещё на раз — и сделал заказ.

Через пару недель коробочка приехала.

Михаил Шигорин, [20.09.2022 15:16]
о-оо, ща расскажу.

я брал материнку 1Э16С-uATX в bitblaze.
только не учёл, что подрастерял уже железячные навыки — плюс время урывками не способствует самосбору.
в общем, мне в ответ на запрос «нужна шестнашка, полностью набитая памятью DDR4–3200» выкатили ценник на эту материнку в своём корпусе со 128 Гб микроновской памяти и серверным кулером.
я подумал, что найду те OEM-ные 8 Гб Diamond из HCL и вообще отвёрткой крутить и сам умею (да и зачем туда охлад за целых пять или шесть тыщ, вроде подходящие кулеры в пару укладываются) — и попросил поставить только саму плату.
сказано — сделано.

И ведь дёрнула меня нелёгкая, выпендриваясь, «поэкономить»: и на корпусе со сборкой, и на памяти, и даже на охлаждении.

корпус.
подходящий кузов уже был (купил раньше за свои, да коллеги оперативно провели-доставили и та конторская плата ушла в конторский же корпус).
плата встала нормально, разве что по закону подлости пришлось повозиться с последней стоечкой — поймала клин с проворотом, выкручивай-меняй-ставь всё заново. ну да ведь ладно…

На самом деле ни разу не ладно, но об этом я ещё не догадывался.

С кулером вышла просто анекдотическая история — уж не знаю, из каких соображений ребята нарисовали в спецификации серверный 2U-радиатор Supermicro (обычно у них СХД), но было очевидно, что достаточный поток воздуха через него в десктопном корпусе обеспечивать не стоит.

Как отмечено выше, земноводное и тут нашло за что зацепиться — вкупе с поспешностью и невниманием к деталям это дало совершенно феерические последствия:

охлаждение.
опять же посмотрев HCL, купил было горизонтальный кулер на 125 Вт (TDP шестнашки вообще-то 130, но там ещё корпусного охлаждения 4×120 мм… «проскочу», подумал я).
такой же, как приехал на 1E2C3-uATX, чёрно-голубой Deepcool, помнится.
привезли очень быстро, вот только вдруг^™ выяснилось, что «пятка» у него — миллиметров сорок и даже половину теплосъёмной крышки e16c не накрывает; наладчики посмотрели и сказали, что маловато будет.
ладно, передал наладчикам на стенды и пошёл заказывать Noctua.
лезу на яндекс-маркет, спрашиваю NH-U12S TR4-SP3 — говорят, нетути такого, есть NH-U12S SE-AM4, для которого совместимость с сокетом SP3 также указана. ну, думаю, лишь бы тушка работала, планочки сделаем, если что.
заказал (~8 тыс, кстати), приехало. кручу-верчу — не-а, не становится.
пошёл к железячникам в сервисе ИВК, благо соседний этаж.
аналогичный вывод.
съездил к наладчикам — пришли к выводу, что там не только планочки отличаются, а и само крепление под них (т.е. моё предположение, что в рамках «семейства моделей» с идентичным первым индексом и различием только сокетоспецифичной части тушка одинаковая — вмазалось в стену того, что это не так).
ладно… благо pleer.ru пошёл навстречу и поменял SE-AM4 на TR4-SP3 (правда, я к ним прям с платой и припёрся — мол, не вру).
хохма в том, что если бы я TR4-SP3 искал яндекс-поиском, а не маркетом — то ровно на том же плеере и в паре других мест бы предложения и узрел.
в общем, спустя примерно неделю исканий, заказов и беготни кулер наконец на месте — причём никакой подгонки по высоте отсутствующего сокета не понадобилось.

Здесь существенная оговорка — насчёт подгонки: некоторые кулеры рассчитаны строго на заданную толщину связки «сокет+процессор», с ними без доработки можно получить эти самые доли миллиметра воздушного зазора между теплосъёмником и радиатором;, а некоторые имеют достаточно универсальное крепление, чтобы с лишней парой оборотов крепежа как следует притереться и к процессору, напрямую напаянному на плату.

Что тогда случилось с яндекс-маркетом — для меня до сих пор загадка…

Параллельно развивалась ещё одна мемодрама.

С одной стороны, характеристики материнской платы были понятны — включая восемь доступных слотов памяти к восьмиканальному контроллеру; ставить менее восьми планок — значит не раскрыть потанцевал. Вариант с DDR4–2400 был отметён по той же причине.

оперативка.
посмотрел как раз перед отъездом на конференцию — в принципе и 16 Гб плашки стоят вполне приятных 8—9 т.р., на восемь штук можно и раскошелиться; уехал-вернулся, через недельку те же плашки уже по 12 (и жаба идёт в контрнаступ).
озадачился Diamond, дали контакт того поставщика, в итоге недели через две выяснил, что с поставкой примерно через месяц могут (и это уже хорошо).
пошёл выяснять, что с Micron; один из продавцов сообщил, что розничная цена сейчас не от курса, а от складов (точнее, дефицита как наличия, так и поставок).
но тем не менее ещё через неделю или две эти микроны опять пришли в ~9 тысяч по крайней мере у некоторых, тут уж решил сразу и заказывать.
заказал восемь штук в topcomputer.ru, довольно оперативно приехали, пошёл ставить.
поставил четыре штуки с одной стороны камушка, включаю — подъём.
обрадовался.
поставил вторые четыре — ан при старте зажигает красные светодиоды у нескольких слотов.
поэкспериментировал, заметил, что «проблемная» именно восьмая планка — без неё работает, но видит только первые 64 гига (что странно, они там парами).
предположил, что всё-таки может быть заводской брак — ну что я буду тревожить наладчиков.
в общем, topcomputer молодцы и планку штатно поменяли, но заменная повела себя точно так же.
тут уж поехал к наладчикам.
в итоге те заметили, что сбит один из SMD-конденсаторов с тыльной стороны платы, расположенный около площадки под стоечку.
похоже, пока возился с перезакреплением материнки — сбил его и даже не заметил…

Вот здесь было по-настоящему обидно: из-за своей небрежности и поспешности обеспечил мороку хорошим людям как в TopComputer, так и в МЦСТ — ну и времени ушло с месяц на ожидания да выяснения.

А прими я предложение омичей о поставке сразу готовой машины — к лету бы уже приступил к программной части вопроса (включая фирмварную, но опять же раньше). Ровно с той же самой памятью в том же объёме.

И раз уж собирать — то стоило сразу отнестись к домашнему эльбрусу как к проекту, а не врываться ad hoc: расписать список требуемого, расходы, ожидаемые сроки поставок, наличие подменки под руками, очерёдность сборки — и тогда уже приступать. Классическое «шоб я был таким умным, как моя Сара завтра» :-)

Как говорится, мудрый учится на чужих ошибках, умный — на своих, и лишь дурак не учится. Мне тут остаётся на своих, но вдруг ещё кому пригодятся.

сейчас через imaxai.ru едет SSD-шка сюда же — можно было сразу в bitblaze.ru заказать, они тоже с калининградцами работают.

Это, кстати, был последний нетривиальный кусочек, который хотелось видеть в окончательной конфигурации — сейчас на GS SSD и размещена моя основная система (на NVMe виртуалки).

Михаил Шигорин, [20.09.2022 15:19]
бут в пятницу прошили текущий — там чё-то поправили в т.ч. по этому микрону и наладчики отзывались, что производительность подросла.

… и память заработала в полную силу, выдав чуть более 90 Гб/с на тесте stream.

Для самых терпеливых:, а вот теперь — слайды :-)

© Habrahabr.ru