Не скоро строится забор, тем более – красивый ЦОД. Как мы строим ЦОД «Авантаж». Часть 1
Этим постом начнем свой рассказ о том, как мы ведем строительство с чистого поля нового дата-центра «Авантаж», который станет одной из крупнейших коммерческих площадок московского региона. Участок проведения работ расположен восточнее города Лыткарино (Московская область, г. Лыткарино) в 9 км от Москвы. ЦОД разместится на территории в 3 га, на которой уже сейчас возведен комплекс зданий и сооружений общей площадью 1,08 га. Внимание, впереди много фото. Прошу под кат.
Немного общих слов и цифр
ЦОД «Авантаж» — первая в России коммерческая площадка уровня TIER III емкостью свыше 2200 стоек, владельцем и инвестором которого является ООО «Авантаж». В России есть большие ЦОД со схожим количеством стоек, но «Авантаж» введет свои в эксплуатацию единовременно. Проектная мощность ЦОДа составит 17 МВт расчетной нагрузки. К дата-центру подводятся независимые высокоскоростные каналы связи крупнейших операторов связи. При проектировании ЦОД «Авантаж» заложены энергоэффективные технологии, позволяющие получить среднегодовой коэффициент PUE не выше 1,4.
Технико-экономические показатели ЦОД «Авантаж»
| Показатель | Значение |
|---|---|
| Общая площадь здания ЦОД | 24 480 м.кв. |
| Мощность ИТ нагрузки | 11,2 МВт |
| PUE | не выше 1,4 |
| Количество стоек | 2240 |
| Дизель-роторные ИБП | 14×1650 кВА |
| Чиллеры с технологией Turbocor | 9×1600 кВт |
| Общая площадь серверных залов | 6 400 м.кв. |
Концепт ЦОДа
Вот так по задумке архитекторов здания и территория ЦОДа будут выглядеть в конце строительства.
Макет дата-центра «Авантаж»
Макет дата-центра «Авантаж» — другой ракурс
Комплекс дата-центра «Авантаж» в плане
Итак, на площадях в 3 га строятся:
Здание ЦОД (Блок «А»), 2 этажа с техподпольем: габариты 72×76,8 м.
Здесь расположатся 16 серверных залов (по 8 на этаже) для размещения ИТ-оборудования (140 стоек в каждом зале, общее количество стоек 2 240 шт.) и часть трансформаторных подстанций объекта. Серверные залы связаны между собой и службой эксплуатации коридорами. В подземной части Блока «А» размещается техподполье ОВК (отопление, вентиляция, кондиционирование) под инженерные коммуникации для подачи хладоносителя к кондиционерам воздуха серверных залов.Здание энергоблока (Блок «Б»), 2 этажа с техподпольем: габариты 80×18 м.
Здесь будет машинный зал для установки 14 динамических дизельных источников бесперебойного питания (ДДИБП) и помещения для установки распределительного оборудования.Здание хладоцентра (Блок «В»), 1 этаж: габариты 76×22,5 м.
Зал для установки чиллеров и насосов, расширительные баки, теплообменники фрикулинга, насосы гликолиевых контуров, главные циркуляционные насосы, гребенки, зоны обслуживания агрегатов, оборудование подготовки и подачи хладосмеси в Блок «А» по техническому этажу. Охлаждающая смесь трассируется трубами в техническом подполье Блока «А».Здание службы эксплуатации 2 этажа (Блок «Г»).
Первый этаж делится на две функциональные зоны: хозяйственная и диспетчерская. К хозяйственной зоне относятся зона загрузки и помещения приема оборудования, помещения температурной выдержки, распаковки, хранения тары и слесарная мастерская. Второй этаж делится на две функциональные зоны: зона оперативного технического персонала и зона подготовки ИТ-оборудования.Административное здание (Блок «Д»), 4 этажа: габариты 65×38,5 м.
Предназначен для администрации объекта и офисных помещений клиентов.КПП1 и КПП2 для проезда легкового и большегрузного автотранспорта, соответственно: габариты 6×9 м.
Топливохранилище общей ёмкостью 200 куб.м топлива.
- Стоянка легкового автотранспорта на 90 машиномест.
Ход строительства
А все начиналось вот так
Так площадка выглядела 11 февраля 2015 года, когда был «вынут» первый ковш грунта. Никаких зданий, сооружений — лишь расчищенное и огороженное поле для нашего мега-проекта. Тогда еще было трудно представить, что уже через несколько месяцев здесь все будет «кипеть и бурлить», а в последствии вырастет красивый, крупный дата-центр.
Разработка котлована хладоцентра. Первый ковш 11 февраля 2015 г.
С февраля по март 2015 мы продвигались все ближе и ближе к «центру Земли». «Вгрызаемся» в землю, ведется разработка котлована административно–бытового корпуса (Блоков «Г-Д»), заливка фундамента хладоцентра (Блок «В»).
На фото: разработка котлованов, заливка фундамента административно–бытового корпуса (Блоков «Г-Д»), хладоцентра (Блок «В»). Февраль-март 2015 г.
В конце июля 2015 года были разработаны котлованы для всех блоков, завершены фундаментные работы хладоцентра и административно бытового корпусов, смонтировано 15% металлоконструкций хладоцентра. Ниже фото процесса работ. Всего было разработано 75 000 м³ грунта, принято 13 597 м³ бетона.
На фото: идут работы по всем блокам: машзала («А»), энергоцентра («Б»), хладоцентра («В») и административно — бытового корпуса («Г-Д») соответственно. Ведется монтаж металлоконструкций хладоцентра («В»), идет подготовка основания под фундаменты дизель роторных бесперебойных источников питания (Энергоцентр, Блок «Б»). Июнь-июль 2015 г.
К концу лета 2015 г. уже велось бетонирование второго этажа административно-бытового корпуса («Г-Д»), шла подготовка основания под фундаменты динамических дизельных источников бесперебойного питания (ДДИБП) Энергоцентра («Б»). Площадка выглядела так — фото ниже.
На фото: Энергоцентр («Б») и фундаменты машзала («А») с высоты птичьего полета. Август 2015 г.
В декабре 2015 года приступили к монтажу инженерных систем. Начался монтаж индивидуального теплового пункта. В феврале 2016 года, каркасы всех пяти блоков («А»-«Д») были завершены. Металлоконструкции Энергоцентра (Блока «Б») достигли суммарного веса в 460 тонн. Суммарный вес металлоконструкций Хладоцентра (Блок «В») составил 100 тонн.
На фото: слева — Хладоцентр (Блок «В»), справа — Металлоконструкции энергоцентра (Блок «Б»). Январь 2016 г. — февраль 2016 г.
В мае 2016 года все корпуса были «закрыты» ограждающими конструкциями (то бишь — стены), за исключением технологических проемов, которые оставили для подачи оборудования и материалов для монтажа инженерных систем. Тем временем, параллельно внутри шел монтаж венткоробов в хладоцентре («В») и монтаж технологических трубопроводов в техподполье машзала («А»).
На фото: слева — венткороба в хладоцентре («В»), справа — технологические трубопроводы в техподполье Машзала («А»). Июнь 2016 г.
Всего к лету 2016 года было смонтировано около 724 тонн металлоконструкций, использовано порядка 1 760 тонн арматуры.
На фото: Машзал (Блок «А»), Энергоцентр (Блок «Б»), Хладоцентр (Блок «В»), Административный корпус (Блок «Д») — лето 2016 года.
24 июня 2016 года в «Авантаже» была установлена первая дверь. Данное событие ознаменовало переход к новому этапу строительства — отделке внутренних помещений! В здании дата-центра будут установлены противопожарные двери с системой «антипаника» и с конструкцией, предусматривающей отсутствие порога. Все двери в здании оборудуются системой контроля доступа.
На фото: первая установленная в дата-центре «Авантаж» дверь
Установка оборудования
Первым типом оборудования, монтаж которого начался в мае 2016, стали дисковые затворы Tecofi (Франция). Система холодоснабжения дата-центра предполагает использование 18-ти драйкулеров, 9-ти чиллеров и 128-ми прецизионных кондиционеров. В период с 1 по 3 июня 2016 года на строительную площадку ЦОД «Авантаж» была осуществлена доставка первой партии основного технологического оборудования. В его состав вошли 5 комплектов дизель-роторных источников бесперебойного питания (ДРИБП) производства Hitec Power Protection и 16 вентиляционных установок производства Euroclima, предназначенных для монтажа в энергоцентре. Всё оборудование устанавливалось сразу на предусмотренные проектом места. Всего, по проекту, в здании энергоцентра предусмотрена установка 14-ти ДРИБП, мощностью 1650 кВА каждый, объединённых в единую систему, и предназначенных для обеспечения гарантированного бесперебойного электропитания всего комплекса ЦОД.
На фото: слева вверху — первые дисковые затворы в системе холодоснабжения дата-центра, справа вверху и снизу — доставка и установка дизель-роторных источников бесперебойного питания
В июле 2016-го на площадку строительства приехали 6-ть пластинчатых теплообменных аппарата производства фирмы Alfa Laval Potok и 6 холодильных машин (чиллеров) производства фирмы Cofely (Германия). Аппараты были установлены на проектные места, проведены работы по их трубопроводной обвязке. Всего в ЦОДе установлено 9 пластинчатых теплообменных аппарата, каждый из которых будет обеспечивать теплоотвод на 1600 кВт. Пластинчатые теплообменные аппараты применены для отвода тепла в режиме свободного охлаждения (freecooling’а). Для холодоснабжения в летний период года применены чиллеры внутренней установки с конденсатором охлаждаемым жидкостью с центробежными компрессорами Turbocore. Полная мощность избытков тепла, отводимая системой холодоснабжения ЦОД составит 11,5 МВт.
На фото: установка теплообменных аппаратов (слева) и чиллеров (справа)
Тем временем, к концу лета снаружи ЦОД уже выглядит вполне готовым, хоть и видно, что стоит на «поле боя» (фото ниже), а внутри проводится «нарезка» IT-пространства.
Под размещение IT-оборудования в «Авантаже» выделено 16 серверных залов, расположенных на 2-х этажах, по 8 серверных залов на этаже. Каждый серверный зал имеет размеры 13,1×30,2 м (S = 396 кв.м), высоту (от чистого пола до потолка) 5,0 м и способен вместить 140 серверных шкафов размером 800×1200 мм. Серверные залы будут оборудованы фальшполом, высотой 1000 мм для обеспечения подачи охлаждённого воздуха. В 13-ти серверных залах из 16-ти прецизионные кондиционеры для исключения доступа обслуживающего персонала в помещения с IT-оборудованием будут установлены вне серверных залов в выделенных, технологических коридорах.
Кондиционирование серверных залов рассчитано на отвод избытка тепла в размере 735 кВт на серверный зал и поддержание температуры охлаждающего воздуха на отметке +24 °C. Электроснабжение серверных залов будет осуществляться по 2-ум магистральным шинопроводам, номиналом 1600 А. Залы оборудуются аспирационными системами пожарообнаружения и газового пожаротушения.
На фото: вид ЦОДа «Авантаж» снаружи (сверху) и внутри во время нарезки ИТ-пространства к концу лета 2016 г. (снизу)
В начале осени на строительную площадку началась доставка и монтаж оборудования распределительного устройства 10 кВ и силовых трансформаторов производства компании Siemens (фото ниже). Всего проектом предусмотрена установка 112 ячеек 10 кВ, объединённых в 11 секций, и 41-го силового трансформатора 10/0,4 кВ. Для создания распределительного устройства 10 кВ ЦОД «Авантаж» используются 10 кВ ячейки серий NXair, Simosec и 8DJH. Мощность системы электроснабжения ЦОД — 17,3 МВт.
На фото: монтаж оборудования распределительного устройства и силовых трансформаторов
В сентябре нам пришлось провести сложную операцию по подъёму первой партии сухих охладителей производства компании Cabero на кровлю здания дата-центра. Для этого на стройплощадку был вызван 160-ти тонный подъёмный кран. В течении одного дня на проектные места были установлены все 8 сухих охладителей первой партии. Всего проектом предусмотрена установка 18-ти сухих охладителей. В проекте сухие охладители Cabero используются для отвода избытков тепла в атмосферу. При температуре внешнего воздуха ниже +9С система холодоснабжения ЦОД переходит в режим прямого охлаждения, в котором не используются компрессоры холодильных машин.
На фото: подъём первой партии сухих охладителей
Тем временем, в октябре 2016 снаружи дата-центра открыт фронт работ по благоустройству территории ЦОДа. Всего предстоит заасфальтировать 7800 кв.м автомобильных проездов и озеленить 11500 кв.м газонов. На территории будет организована автостоянка на 90 машиномест. Пока не верится, но здесь будет город-сад!
На фото: благоустройство территории ЦОДа «Авантаж»
К ноябрю 2016 г. прецизионные кондиционеры Technair LV прибыли на стройплощадку и начали занимать проектные места. Всего в проекте предусмотрена установка 128 прецизионных кондиционеров в серверных залах и 4 в 2-х кроссовых помещениях. В каждом из 16-ти серверных залов устанавливается по 8-мь кондиционеров. Кондиционеры имеют холодопроизводительность по 105 кВт и резервируются по схеме N+1. В итоге, каждый аппаратный зал имеет потенциал отвода избытка тепла в 735 кВт.
В это же время кабельные галереи, помещения и установленное оборудование готово к прокладке кабельных линий распределительного устройства 10 кВ. Кабельные линии 10 кВ внутри комплекса зданий ЦОД свяжут между собой 112 ячеек, объединённых в 11 секций, и 41 силовой трансформатор, организовав совместно с дизель-роторными ИБП (ДРИБП) источник бесперебойного и гарантированного электропитания мощностью 18 МВт.
На фото: прецизионные кондиционеры (сверху) и будущая кабельная галерея (снизу)
В декабре 2016 года в дата-центре начался монтаж фальшполов. Всего установлено 9300 кв.м. фальшполов. 6400 кв.м — в серверных залах, остальные — в коридорах и технологических помещениях. В качестве производителя фальшполов выбрана компания Uniflair spa Schneider Electric, Schneider Electric. В серверных залах устанавливается фальшпол высотой 1 м, пространство под которым служит для подачи охлажденного воздуха к серверному оборудованию.
На фото: монтаж фальшполов
Ну и, под конец, вот так мы уже сейчас выглядим со спутника.
На этом пока прервемся, а вторая часть с оставшимися работами выйдет уже к открытию дата-центра. Плюс, возможно, будет дополнительный пост, в котором осветим подробнее интересные для вас моменты. С вопросами прошу в комменты.
Здесь можно узнать больше деталей о самом проекте.
Материал готовился при активном участии коллег из ООО «Авантаж».
