Как мы строили свой мини ЦОД. Часть 2 — Гермозона
В продолжение Части 1 — Colocation
Здравствуйте друзья! Прежде всего спасибо Вам за комментарии и интерес к прошлой нашей статье. Как мы уже говорили, при строительстве нашего цода, мы взяли с хабра очень много полезной информации, которая по итогу нам очень пригодилась. Поэтому данный цикл статей — некая благодарность площадке и авторам за их статьи, без них было бы в разы сложнее. Спасибо!
Итак, прошлую часть мы закончили на моменте с поиском нового помещения для «строительства» собственного ЦОДа. Как мы уже писали это было жизненно необходимо для нашего молодого проекта, который испытывал трудности в моменты серьезных проблем в дата-центре. Покажу несколько кадров здания ЦОДа. При этом хочу сказать что с владельцами мы работаем до сих пор в других направлениях и расстались хорошими друзьями. Сейчас (по слухам от коллег которые там размещаются) — все отлично.
Внимание! Много изображений. Есть не сжатые фото панорам, ибо при их сжатии — очень сильно теряется качество.
Само здание, как видите я не врал, это действительно бывший производственный комплекс. Я специально вставлю достаточно фотографий, чтобы Вы понимали всю необходимость переезда. К слову гермозона совершенно не плохая, как и технический подход в целом, хороший ремонт и т.п.
Это две фотографии лестницы в ЦОД и дверь нижнего этажа (заброшенного).
В общем, как вышло так вышло, мы начали поиск помещения. Были некоторые требования которые мы должны были удовлетворить.
— помещение выведенное из жилого фонда (важно для официальной деятельности).
— желательно первый или цокольный этаж (нам очень надоело носить на горбу железо на пятый этаж).
— доступ к операторам связи (в радиусе 2–3 км.).
Остальные пункты, такие как ремонт или что-то еще нас волновали меньше, мы понимали что работы будет достаточно. Мы пересмотрели порядка 20 разных объектов и в каждом были какие-то проблемы. Остановили свой выбор на нескольких небольших объектах и выбирали лучшее. Мы понимали что средств арендовать ангар и делать из него промышленный ЦОД у нас нет, а значит нужно экономить. Но экономия должна быть экономной, а значит нам нужно сделать все максимально профессионально (пусть и в малых масштабах, под расширение), чтобы потом не возникало проблем.
Был найден вариант в центре города (на шестом этаже если не ошибаюсь), но с грузовыми лифтами. ЦОД был уже подготовлен и сделан очень серьезно (размещался бывший полосатый оператор связи). Там сделано и усиление пола под зал ИБП и подвод электрики и все прочее.
Шкаф ИБП:
Машинный зал:
Но на деле оказалось все хуже чем нам рисовали. ИБП остался 1 шкафчик и тот, дохловатый. ДГУ увезли, вводы отрезали. А цену за аренду заломили как за космический корабль, плюс — обязательное подключение к одному из операторов связи, который и владеет (арендует этаж) этим помещением. В целом и это бы нас не оттолкнуло если бы не одно НО. Владельцы здания, за любое действие хотят денег, причем формата «вставьте нам окна на этаже за это» и т.п. И так абсолютно за все, будь то проложить оптику или подвести питание. Это нам не понравилось, зависеть от чьих то прихотей не хотелось, да и дорого честно говоря. Искали дальше.
И тут, совершенно случайно, по соседству с моим офисом (для другого вида деятельности) вижу объявление о сдачи в аренду помещения. Район жилой, тихий. Первый этаж, два входа, пандус, выведено из жилого фонда, на долгий срок и за вменяемые деньги. Осмотрели, просчитали — решили брать. Данное помещение хоть и не большое, но на начальном этапе удовлетворяло наши требования полностью.
Нам передали ключи (как же долго мы разбирались что к чему), ключей действительно не мало:
Изначально помещение выглядило вот таким образом (кроме пожарной и охранной сигнализации и мелочей, их мы уже установили). Панорамы.
Будущий машинный зал:
Будущий офис для дежурных:
Итак, отсчет пошел, и у нас было уже менее двух недель на весь переезд. А у нас не было, ровным счетом ничего. Первым делом мы начали делать комнату в которой будем находиться на момент мелкого ремонта в помещении ЦОДа.
Разложили кавролин и давай его вымерять:
Купили разные мелочи, наклейки, таблички, замочки:
И еще пылесос и разные полезные мелочи:
Приступили к укладке кавролина и плинтусов. Делали все сами:
Прекрасная половина тоже с нами и помогает:
Привезли куллер для водички, затащили столы, привезли IP телефоны Cisco:
По итогу было примерно так. Спасибо ребятам, очень помогли:
Ремонтные работы в машинном зале
Один из основных критериев который был для нас Важен это шумоизоляция ЦОДа. Долго выбирали как правильно сделать, советовались, но решили все-же поступить так. Разбивать старый гипс (очень жалко было, но нужно), укладывать 100 мм. вату, проклеивать все металлические стыки, профиля специальной вибро-изоляционной лентой и только потом уже заново все собирать. То же самое касается и потолка. Процесс пошел. Вату, кстати, выбрали специально негорючую.
Первая закупка строй-материалов:
Рушим стенку (к сожалению снимал только первую). К слову нашли потайную проводку прошлых владельцев помещения. Обрезали:
Укладываем вату и гипс:
Укладываем вату под весь потолок:
Собственно эти же операции были проделаны и с остальными стенами и всем потолком. Шумоизоляция важный момент. Дальше перешли к покраске и разного рода завершающим работам:
Инфраструктура ЦОД
Теперь, когда грязная часть работ позади, мы можем подумать и о оборудовании, которое мы планируем ставить и о полной инфраструктуре для его размещения. Скажу сразу, кондиционер в помещении был, что нам несказанно помогло. Промышленный, настоящий, огромный кондиционер. Кушает правда больше, чем нам нужно, но это мелочи. Мы выделили важные пункты в нашем плане и приступили к их реализации.
Начали мы с электропитания. Мы стремились к идеальному, чтобы получилось — хотя-бы хорошо. Подключили ввод электропитания от разных подстанций, сделали разводку, поменяли кабели питания, проложили кабели в машинный зал:
Был так-же установлен переключатель фаз (на случай если 1 фаза пропадает система сама переключает её на другую):
ИБП. Здесь было сложнее. Мы рассматривали абсолютно разные решения, но необходимой нам мощности либо небыло в наличии, либо она стоила больше, чем мы могли себе позволить. Нам так-же было важно чтобы это решение можно было масштабировать, ведь для начала нам нужно не много, но важно чтобы это было и выполняло свои функции хорошо.
Так мы и нашли инвертор на 5 кВт, который работает от аккумуляторов (цепи аккумуляторов 48 вольт) и может работать даже от солнечных батарей. Если честно — намучались мы с его подключением хорошо, даже думали ехать сдавать, как в один момент нашли кнопку которую нужно «зажать» для включения. При этом в магазине этого тоже никто не знал (в инструкции об этом забыли сказать) и предлагали уже вернуть товар. Но мы не сдались. Подключили АКБ.
Тут тоже свои моменты: АКБ по 12 вольт. Их можно подключить или параллельно или последовательно, из чего получаем либо 48 вольт вместо 12 либо умноженный ампераж. Нам нужны были 48 вольт, поэтому подключили как на фото ниже. Аккумуляторы к слову, мы могли выбрать двух видов. Автомобильные и специальные. У первых выще пусковой ток, но их нельзя разряжать в ноль, у вторых — наоборот, меньший ток, но разрядки не бояться. Выбрали автомобильные, цена сильно отличалась, а разницы для нас не было (все равно их менять через год):
Наверное отдельного поста заслуживает полочка под аккумуляторы и ИБП. Как Вы понимаете все это весит прилично. Выбрали дорогую полку в одном строй-маге, на ней было ясно написано, собирается за 15 минут. Мы проклинали эту полку пол дня, пока не собрали. По факту оказалось что деталей меньше чем нужно и приходилось что-то постоянно выдумывать. Полкой мы были не довольны, но что есть — то есть:
Установили ИБП:
Подключили ИБП. Подключение простое. 220 входит в ИБП, он его выпрямляет и пускает на шкаф уже из выхода. В случае падения основной линии — он подает 220 из батарей. Работает мгновенно, выключали, включали, тестировали:
Приехал генератор. Рассчетная мощность 5 кВт. Бензиновый. В генератор встроена система АВР (автоматического ввода в резерв), т.е. при пропадании света, он автоматически запускает себя. Так-же прилагается пульт, если хочется поиграться. Казалось бы самое сложное уже позади, что может быть проще — затащить, проверить и подключить, но не так случилось как нам показалось в начале…
Самое сложное для нас — оказалось его подключение вместе с ИБП и основным вводом. Ведь по факту что мы получаем. 220 входящего напряжения, 220 напряжения от ИБП (допустим оно его выдает ТОЛЬКО при пропадании света) и 220 от генератора. И тут мы совершили фатальную ошибку. Моделируем ситуацию:
— пропадает свет
— инвертор поддерживает оборудование пока заводится генератор
— генератор заводится и дает напряжение на шкафы
— инвертор не знает что подается напряжение на шкафы и получается встречка
— включается основное питание 220 и получается встречка и с генератором
Как бы мы не пытались, подключить в инвертор и генератор и сеть — не выходит, где то да получается встречное напряжение. А в сеть подключить генератор — будем питать весь дом.
Чтобы такого не произошло и у нас никогда не встретились две 220 (от ибп, генератора или сети) — мы разработали систему магнитных пускателей, скажу честно, это был огромный геморой, потому что специалистов найти за несколько часов не просто, а переезд просто «на носу».
Вот как это получилось в итоге:
И тут подъехали шкафы. Шкафы мы взяли такие-же как в дата-центре где размещались на colocation, компании APC. На то было несколько причин. Первая то, что они действительно очень удобные. Вторая — в них идеально становятся наши управляемые розетки. Третья — чтобы быстро переехать, т.к. в одинаковые шкафы проще переезжать.
Еще 1 момент, который мы не учли, это доставка шкафов. Она вышла примерно 50% их стоимости (мы брали для начала 2 шкафа). И еще один немаловажный момент, как же мы радовались нашему пандусу когда затаскивали шкафы (они на колёсиках), все-таки для ДЦ это важная часть инфраструктуры. Шкафы кстати не столько тяжелые сколько не удобные:
Патч-панели и коммутация — приятный бонус к шкафам от поставщика:
Расчетная мощность
По нашим расчетам в ЦОД становится минимум 10 шкафов высоты 42U общей мощностью 25–40 кВт. На наши шкафы мы закладывали по 2,5 кВт резервированной мощности. В целом, даже сейчас когда у нас заполнено достаточно пространства, мы потребляем не более 3,5 кВт на оба шкафа.
ЦОД был спроектирован с возможностью расширения (поскольку мы хотели сделать качественный проект, но с ограниченными финансами), а именно:
— есть соседнее помещение которое можно выкупить/арендовать, по размерам примерно такое-же
— есть возможность оперативно добавить ИБП + АКБ, вся настройка не займет более часа
— есть возможность увеличить мощность генератора путем его замены.
В следующей, заключительной части нашего рассказа будет и подключение оптоволоконных кабелей (интернет), с которыми было очень много проблем, переезд вместе с серверным оборудованием (как же не легко его было тащить) и настройка, укладка СКС, поднятие BGP туннелей с провайдерами, тестирование iLO/KVM переключателей, закупка десктопного оборудования, его сравнение с HP, вызов скорой медицинской помощи нашему сотруднику во время подключения и многое многое другое. Так-же отдельно мы уделим время и системе видео-наблюдения, её реализации в нашем случае.
Будет интересно! Спасибо за внимание.
