Что нам стоит ЦОД построить

i9vfgk9edktvtq2dfj-gefhwvke.jpeg

Этой осенью мы передали заказчику спроектированный и построенный нами ЦОД площадью порядка 250 м2, вместивший около 50 высоконагруженных стоек. История у этого проекта непростая: сначала пришлось исправить кучу ошибок в проектной документации, сделанной другими подрядчиками (а фактически перепроектировать ЦОД), а потом несколько месяцев сражаться за заказ в тендере. Обо всех этих перипетиях наш рассказ под катом.

История проекта


Всё началось с того, что один крупный ритейлер решил построить ЦОД на юге нашей славной Родины. Он должен был дополнить мощности трёх других, уже имевшихся у заказчика дата-центров. Первую версию проекта разработал другой интегратор. Заказчик остался доволен и объявил тендер на строительство, приложив проектную документацию. Мы её внимательно изучили и остались в недоумении: в проекте оказалось больше сотни ошибок и недочётов — от архитектурных до чисто инженерных. Пикантность ситуации заключалась в том, что заказчик предъявил суровые требования к уровню надёжности этого ЦОД, потому что через него должен был проходить огромный объём данных, в том числе конфиденциальных. Но с найденными недочётами требуемая отказоустойчивость осталась бы недостижимой мечтой.

Пришлось спасать ситуацию. Предложили заказчику бесплатно переработать проект — исправить все косяки, а заодно переработать общую смету, заложив продукцию других вендоров, с ценами пониже. Получив «добро», засучили рукава и принялись за работу. На переделку ушел 1 месяц. Наша смета оказалась на 30% дешевле начального варианта. При этом нигде не пришлось ужиматься — учли все требования, в том числе и по надежности.

Дальше была долгая борьба за победу в тендере — сражались почти три месяца. В конце концов заказчик выбрал нас. Кстати, удивительно, что из всех участников тендера только мы предложили переработать проект, остальные собирались строить в соответствии с буквой параграфа.

Реализация


Итак, под ЦОД было выделено помещение площадью порядка 250 м2. Его нужно было заполнить 46 стойками с высоконагруженными серверами и сетевым оборудованием. Общая мощность всей аппаратуры, включая систему охлаждения, тянула на 870 кВт. Мы предусмотрели возможность расширения серверного парка, заложили запас по питанию и охлаждению. Я уже говорил, что заказчику нужна была высокая степень доступности ЦОД, он мог простаивать не более 1,6 часа в год. Поэтому проект соответствует международному стандарту TIA-942 Tier III: можно менять, добавлять и удалять оборудование без остановки ЦОД; все инженерные системы однократно зарезервированы, есть несколько каналов электропитания и охлаждения, но постоянно активен только один из них. В результате коэффициент отказоустойчивости ЦОД равен 99,982%.

Проект мы переделывали с помощью BIM (Building Information Modeling) — методики информационного моделирования здания. Построили трёхмерную модель помещения ЦОД, в котором «смонтировали» фальшпол, «установили» все стойки с оборудованием, «проложили» вентиляционные и кабельные каналы, связали с системой охлаждения на крыше. А самое главное — в рамках этой модели увязали между собой все архитектурные, инженерные и аппаратные компоненты ЦОД: стоит что-то изменить в какой-нибудь системе, как всё, что с ней связано, сразу автоматически перестраивается, вплоть до чертежей и спецификаций. Выглядит захватывающе, особенно если в детстве ты любил возиться с конструкторами и сборными моделями.

Фальшпол в помещении ЦОДа:

fpvkuw9fyzlravpuunxuukwbhl0.jpeg

Коммуникации крупным планом:

gd70yhkshbmv-p9yqog5nxrymto.jpeg

gnraii94vjwospn92i_qmtizluu.jpeg

Общий вид ЦОДа:

y7arlslm35fv8mu4ule9am6ap5c.jpeg

Предполагалось, что мы будем строить ЦОД в уже подготовленном помещении с евроремонтом. Но ещё ни одна стройка и ни один ремонт в истории человечества не прошли строго по графику и без накладок: субподрядчик не успел всё сделать к сроку. И, чтобы не терять время, пришлось выполнять пятилетку в четыре года. ЦОД находится в офисном здании — дабы никого не смущать шумом перфораторов, болгарок и такой-то матери, все работы вели вечером и ночью.

  • Разработали и установили напольные разгрузочные рамы для крупногабаритного тяжелого оборудования.
  • С помощью специально сконструированных рам усилили стену с оконными проемами, чтобы вешать на неё оборудование (электрощиты и прочее).
  • Доработали и усилили отверстия для прокладки инженерных коммуникаций через стены.
  • Сделали чистовую отделку помещений.
  • Доработали и установили наружные силовые конструкции под трассы и климатическое оборудование.

    Уличная рама под наружные блоки кондиционеров и переход до нее:

    ohxv4hky9dv0k2yjgihktvwms-g.jpeg

    okyidkmjlv_wxdgijrr8qffm8ce.jpeg

    cszwkkzolihx-vuirucejvk6zwu.jpeg

  • Установили фальшпол, СКС, «холодные» коридоры и стойки для серверов. Серверные стойки Conteg рассчитаны на высокую плотность нагрузки — 10+ кВт на стойку. СКС сделана на основе оптических компонентов с использованием претерминированных кабельных сборок (заранее смонтированные, готовые к установке изделия, облегчающие монтаж оптоволоконных сетей).

    qbalmjq_rxsuumccjeocch7iuqk.jpeg

    i9vfgk9edktvtq2dfj-gefhwvke.jpeg

    fyri_syqz-zkiyt1dfgdq0mmz0k.jpeg

    lmkwuyto3uykwap3hmaxovc6mkc.jpeg

    nej9ka2jr1i11ms49a3kocyhzb8.jpeg

  • Установили освещение, проложили силовые кабели, собрали и установили электрощитки и источники бесперебойного питания. Электроснабжение резервировалось по схеме 2N (у каждого компонента есть резервный), а специально заказанные для проекта электрощиты автоматически переключаются с основного на резервный ввод при нештатном отключении питания.

    tie_w84ggwtm_gkc_6yy1m4e__0.jpeg

    mlwlhc6pst0zg9zny4waqxjm46q.jpeg

    jltbi56r1qhmq0avsb47es4ogpw.jpeg

    p2mqfv1256hs0sepuidexvjmpco.jpeg

    z9aqccedqt1rehwyz2vckpd20e8.jpeg

  • Установили противопожарный комплекс, включая сигнализацию и систему газового пожаротушения.

    exoxmrmldodpwptsryge0uwqsy0.jpeg

    xpjp-0cjpgtl6jndly-nghmjylq.jpeg

  • Установили системы водоснабжения (для пароувлажнителей и кондиционеров), дренажа, кондиционирования (наружные и внутренние блоки, фреоновые трассы). В южных регионах кондиционеры не роскошь, а средство выживания, и поэтому в ЦОДе мы использовали климатическое оборудование STULZ с резервированием по схеме N+1 (N рабочих компонентов и один резервный).

    ikhx_xrzbh4t8yuocd_e_4kcte8.jpeg

    wmkdyu20wuem-iekoxjfylzzoks.jpeg

  • Наконец, установили компоненты системы мониторинга Conteg. Она «завязана» на пожарную систему, ИБП, кондиционеры, модули управления питанием в стойках, датчики температуры и влажности и так далее.


На всё про всё, включая переработку проекта, ушло около полугода. Все заложенные параметры удалось выдержать, из сметы не выбились, и серверы в новеньком ЦОДе уже молотят терабайты.

Подумываете о построении ЦОДа? Ну вы поняли ;)

Всеволод Воробьев, руководитель направления ЦОД Центра сетевых решений компании «Инфосистемы Джет»

© Habrahabr.ru