Инженерное устройство дата-центра уровня TIER III, стоящего на четырех магистральных линиях
Мы уже рассказали о том, как проектировали и стоили наш TIER III ЦОД. Пора уже показать, что получилось.
Сначала на месте дата-центра было чистое поле, затем вырыли здоровенный 100–метровый котлован. Потом дата-центр стал похож на бетонную площадку, а еще позже — из металлоконструкций построили шестиугольное здание, внутри которого расположены шесть модулей ЦОД (на схеме выделены зеленым), «командный центр» для мониторинга магистральной сети по всей стране и офис (подробнее о строительстве можно почитать habrahabr.ru/company/beeline/blog/244785/).
Осторожно, трафик и гикпорн из ярославского дата-центра: 91 фотография только-только запущенного первого модуля, в главном здании кое-где ещё идут финальные работы, но капитального строительства больше не будет.
Базовые параметры ЦОДТерритория• 7 га; • 30 тыс. кв м. площадь зданий.Модульный подход• 6 независимых модулей ЦОД (сейчас установлен первый).Отказоустойчивость• Сертификат Tier III по классификации Uptime Institute.Бесперебойное питание• 2 независимых городских ввода 10 MW; • Дизель-динамический источник бесперебойного питания: 2500 kVA; • Резервирование 2N; • Топливохранилище 30 000 л, рассчитанное на 12 часов работы 6 модулей при полной загрузке.Холодоснабжение• N+2; • Водяное охлаждение на чиллерных установках; • Охлаждение наружным воздухом (Natural Free Cooling); • Адиабатическая система охлаждения; • Бесперебойное питание оборудования системы охлаждения; • Среднегодовой PUE не менее 1.3.Пожаротушение• Газ Novec безвредный для человека; • Система раннего оповещения о возникновении пожара (VESDA).Безопасность• Охрана 24×7х365; • Система контроля и управления доступом, видеонаблюдение.Экологичность• Система бесперебойного питания без химических батарей; • Охлаждение наружным воздухом до 90% времени в году;.• Экологичные отделочные материалы интерьеров офиса.В реальности здание почти такое же прозрачное, как на схеме, потому что много поляризованного стекла:
Главное здание, в котором расположен дата-центр
Для сравнения — вот небольшой контейнерный ЦОД на семь стоек, который мы установили за три месяца: кинули пару плит, и вперёд. Мобильный дата-центр и соседний синий контейнер с ДЭС работали на этой точке во время пусконаладки и вообще держали ряд базовых сервисов, пока мы не подняли первый машзал.
Контейнерный ЦОД
Вот схема «космокрейсера»:
Схема объекта
Шестиугольник посередине — это главное здание, в котором расположены машзалы, офисная и сервисная зоны Энтерпрайза. Контейнерный ЦОД внизу, он маленький, и скоро его увезут. А два блока «двигателей» крейсера — это независимые энергоустановки (Power modules). Давайте сначала туда.
Вот так выглядит здание с энергоустановками снаружи:
Энергомодуль, в котором располагается ДДИБП
Рядом в синем контейнере хранится дизельное топливо. Зимой мы льём зимнюю солярку, летом — летнюю. Откачивать никуда не надо — вырабатываем ДТ на ежемесячных регламентных проверках.
Топливохранилище на 30 000 л
Но давайте зайдём внутрь энергомодуля. Нас встречает вот такой чудо-девайс.
Мотор-генератор системы дизель-динамического ИБП
Это целый комплекс устройств. Как всё это устроено, мы уже рассказывали ещё на этапе проектирования, вот тут есть подробности (и анимация производителя). Если очень коротко — к нам из города приходит питание от двух независимых подстанций, которое резервируется системой дизельгенераторов. В середине цепи между источниками и полезной нагрузкой находится кинетический накопитель.
Схема организации электроснабжения комплекса
ЦОД будет потреблять до 10 МВт. По очевидным причинам, куда экономичнее брать питание от города. Но если что-то происходит, нужно иметь либо огромный запас батарей ИБП на время разогрева дизеля, либо запас батарей поменьше и бассейн с ледяной водой для охлаждения, либо свой постоянно работающий энергоцентр (генерацию). Одно из лучших решений — ДДИБП: кинетический накопитель, плюс быстро стартующий дизель, находящийся в режиме standby. На практике всё намного сложнее, но общий принцип работы именно таков.
Панель управления ДДИБП
Надо отметить, что питание из города к нам приходит не самое качественное. Когда оно ухудшается или пропадает, за счёт энергии кинетического накопителя (семитонный раскрученный до огромной скорости маховик). Энергии остаточного вращения маховика хватает с запасом на старт дизеля даже со второй попытки. Из дополнительных плюсов — эта же система позволяет очень легко справляться с большинством скачков напряжения — грубо говоря, ДДИБП посреди цепи в лёгкую сглаживает в среднем около 80% пиков и провалов без включения мотора-генератора. Ещё одним преимуществом применения ДДИБП является отсутствие проблемы с задержкой на переключение на резервную систему питания, так как кинетический накопитель включен в цепь постоянно.
Система очистки топлива, кроме обычной фильтрации также включает систему сепарации примесей, которая осуществляет очистку топлива непосредственно перед подачей в топливный насос.
Фильтр-сепаратор системы подачи топлива
Крышки цилиндров
Электромагнитный клапан системы подачи топлива
Одна из наших важных задач сейчас — гарантировать энергоэффективность при низком потреблении.
Труба ведёт на второй этаж, где расположены системы глушения и очистки выхлопных газов. В частности в 4,5-метровые двухтонные глушители
В прошлый раз мы обещали показать размер глушителей. Обещали — выполняем:
На заводе ДДИБП в Германии
Это топливный бак
Соляра для ДГУ в большом количестве хранится в синем домике снаружи, а в этом баке — необходимый запас на час-два работы (в зависимости от нагрузки). Ёмкости соединены, топливо можно привозить бесконечно, и оно будет сначала заливаться в главное хранилище, потом — вот сюда, далее — в саму ДГУ. Разумеется, второй энергомодуль такой же, и там своё автономное хранилище топлива.
Выбросной вентилятор системы вентиляции
Трубопроводы системы охлаждения дизельного двигателя. В трубах циркулирует хладогент, который проходит через радиаторы, установленные на втором этаже
Для снижения потерь маховик вращается в газообразном гелии. Пока он в этой среде, затраты на поддержание вращения даже при дикой скорости минимальные, то есть достаточно вложить в него энергию на раскрутку, и дальше он потребляет очень мало. КПД >99%. Потом, когда надо, маховик отдаёт накопленную энергию в систему.
>Редуктор-распределитель подачи гелия в кинетический накопитель
Аварийный клапан остановки дизельного двигателя при сигнале «пожар» или аварийном отключении красной кнопкой. Он используется только в крайнем случае, и фактически перекрывает мотору кислород
Пожар тушится газом Novec 1230 — в применяемой концентрации он не опасен для человека. Система пожаротушения у нас умная: в случае возгорания на дизеле даёт шанс справиться с огнем самостоятельно. Это повышает живучесть дата-центра.
Стартовые аккумуляторы
Силовые кабели от генератора к нагрузке (ЦОД)
Сирена пожарной сигнализации. Как только она включится — из помещения нужно выбегать.
Шкаф управления системой вентиляции
Автоматический выключатель распределительного щитка
Перед вами защита от дурака. Замок закрывает критичные панели. Чтобы что-то нажать, нужно снять пластиковую шторку, повернув её на 180 градусов. Потом достаточно сильно надавить на кнопку. Такие варианты защиты сделаны для того, чтобы ничего не делалось случайно без полного осознания происходящего.
Кнопка системы дымоудаления располагается перед входом в помещение
Вот в этот блок снаружи подключается тестовая нагрузка для регламентной проверки ДДИБП:
Нагрузка подключается специальным очень гибким для своего диаметра кабелем
А вот и сама нагрузка. Тягач-реостат. В прицепе что-то вроде огромного калорифера, эффективно греющего воздух для того, чтобы отобрать большую мощность у энергомодуля. Не то, чтобы зима в Ярославле стала теплее, но что могли — сделали.
Тягач-реостат
А это два интересных объекта. Молниеуловитель и грозоотвод. Точнее, на энергомодуле высокое мачтовое сооружение — это пассивный грозоотвод — металлический штырь отводящий разряд глубоко под землю. А дальше, в центре, на крыше ЦОДа, видно уже активную установку аналогичного назначения, она позволяет достигнуть подобного эффекта только со значительно меньшими размерами.
Пассивный и активный грозоотводы
Второй модуль симметричен первому. Единственное, что отличает его окрестности — вот этот дополнительный объект. Это отдельная ДЭС для офиса, требования к бесперебойности питания значительно ниже, а значит не нужно расходовать мощности ДДИБП.
ДЭС для офиса
Теперь спускаемся вниз, в ветку метро до Кремля.
Кабельный коллектор
На самом деле, конечно, это кабельный коллектор, но если грамотно выключить свет, можно посвящать новичков в тайны СССР.
Ещё можно сделать вот так:
Тут проходят кабели толщиной с руку здорового инженера. Ну, или с ногу симпатичной девушки. За обрезками такого кабеля шла настоящая охота некоторых монтажников на стройке. По их представлениям, наверное, он золотой. Досталось им мало, но нервов они нам испортили изрядно.
Кабель, кстати, по большей части отечественный, производства кольчугинского завода из Владимирской области. На нашем объекте проблем не было, но, конечно, кабель всегда надо проверять при приёмке — могут и с обрывом привезти, и с нарушенной изоляцией, и много чего ещё.
«Гламурная» противопожарная пена. При монтаже она расширяется и очень плотно охватывает всё, что может, чтобы не допустить распространения огня и дыма через отверстия, где проходит, в данном случае, кабель.
Итак, питание есть. ЦОДу не хватает ещё охлаждения и Интернета. И пива, но пивзавод у нас прямо за окном. С транспортной сетью у нас всё хорошо, есть два помещения магистральной связи, резервирующие друг друга. К ЦОДу подведены 4 ввода магистральной оптики, мы предусмотрели возможность установки 100Gbit/s транспондеров.
Однажды расскажем вам и об устройстве нашего узла связи подробнее.
Теперь идём смотреть на охлаждение.
Про проектирование охлаждения детальнее можно прочитать вот здесь.
Опять же, коротко основные вещи:
Схема организации системы Natural Free Cooling
Фрикулинг работает так. В «морду» (камеры смешения) нашему дата-центру дует ветер. Холодный воздух попадает в магистральный воздуховод, отдаёт холод внутреннему контуру, затем пролетает дальше насквозь ЦОД и уходит в степь. Горячая среда машзала отдаёт тепло через теплообменник во внешнее пространство ангара, в котором расположены модули ЦОД. Горячие восходящие потоки уходят вверх через отверстия в крыше или принудительно через камеру смешения. Пока просто, правда?
Схема расположения магистрального воздуховода
Первый кто нас встречает — это «паук». Это чиллер. Пауком мы его зовём из-за характерной формы.
Чиллер
Зачем чиллер в ЦОДе с фрикулингом? Всё потому, что если внешняя температура поднимется выше 24 градусов Цельсия машзалы не будут охлаждаться с нужной эффективностью. Напомню, что мы решили построить дата-центр в Ярославле ещё и потому, что здесь летом прохладнее (помним про ночь), чем в Москве, и можно сэкономить на охлаждении.
Тем не менее, примерно до месяца в году в среднем температура поднимается выше указанной границы. В этом случае мы используем вторую систему охлаждения на чиллерах, охлаждающих воду в огромной сети трубопроводов. Опять же, упрощая до неприличия — это большие холодильники, охлаждающие воду. Они требуют куда больше питания, но деваться некуда. Резервирование чиллеров N+2, это значит на первый машзал установлено сразу три агрегата.
Узнаёте этих героев?
Расширительные баки
Всего в контуре 180 тонн воды.
Магистральный коллектор
Сливной кран
Ещё один паук, но уже другой стороной (сбоку щит управления)
Балансировочный вентиль
Если потребуется аварийный слив воды, она потечёт в специальные ямы
Насосы обеспечивают циркуляцию в контуре. Второй насос — резерв.
Фреонопроводы ведут на кровлю. Изгиб — это маслоподъёмные петли для обеспечения возврата масла в компрессор.
Скоро мы уже закончим с железками и пойдём в машзал. Он прямо вот за этой стеной. Но! Сначала есть важный момент. Дело в том, что температуры окружающего воздуха хватает для охлаждения машзалов с нужным запасом только 8 месяцев в году. А чиллеры мы запускаем на две-четыре недели. Куда делись ещё минимум три с половиной месяца? Вот, смотрите на устройство.
MNFC — теплообменник
Это теплообменная камера, отсюда начинается холодный коридор машзала, и здесь заканчивается горячий. То есть в этом устройстве мы делаем из горячего воздуха холодный. Это ключевой элемент системы охлаждения. Теплообменник работает и в режиме охлаждения наружным воздухом, и в режиме охлаждения водой.
Основной режим — через теплообменник пропускается большой объём уличного воздуха.Если воздух горячий — мы закрываем воздухозабор и начинаем охлаждать обменную камеру выводом от чиллера, тратя электроэнергию на охлаждение.
За этой решёткой происходит обмен тепла
А вот когда воздух теплее всего на 3–4 градуса (до 24 градусов), что случается в «выпавшие» месяцы, мы применяем лайфхак из школьного курса физики. Попросту насыщаем воздух влагой (прогоняем его через стену водяного тумана за вот таким устройством), что даёт нужную дельту на адиабатическом процессе. Эта технология намного экономичнее чиллерной системы, и широко используется в связке с фрикулингом.
Вот здесь, насквозь, прямо через здание, проходит выбросной магистральный воздуховод. Это вот такой вполне широкий горячий коридор.
Зенитные фонари на крыше. Створки при необходимости приоткрываются, и выпускают горячие потоки воздуха.
Всё-всё, смотрим машзал. Сейчас залы со второго по шестой выглядят вот так: модули ещё не смонтированы.
А вот первый модуль запущен и сейчас уже наполняется. Мы пришли в тот самый момент, когда часть серверов уже работает, но зал ещё наполовину пустой.
Модуль ЦОД
Поскольку стойки у нас типовые, а железо вообще гомогенное (это наш ЦОД, и мы точно знаем, что сюда будет ставиться), можно было смонтировать все вводы-выводы сразу.
Силовые розетки для подключения стоек
Ещё один плюс типовых стоек — известные габариты холодного и горячего коридора. Вот холодный воздух дует снизу из фальшпола. Эти панели сейчас закрыты полиэтиленом — коридор не используется, а мы не хотим, чтобы инженеров сдувало почём зря. Кстати, вот эти холодные коридоры — пожалуй, последнее из напоминаний, почему админ всегда в свитере. Потому что очень холодно и дует.
Коридор холодного воздуха
А это наше телепортационное устройство, прототип.
Если серьёзно — это двери, закрывающие (ограничивающие) холодный коридор, чтобы охлаждение работало максимально эффективно. Вот так это выглядит в той части зала, где стойки уже есть.
Стойки
Собственно, стойки. Сейчас установлено следующее оборудование: — серверы Oracle класса Hi-End и Mid-Range; — СХД, построенная на оборудовании HDS, HP, IBM, Brocade; — Ядро сети построено на оборудовании Avaya; — Сервера HP.
Система распределения питания к стойкам: шинопроводы с коробками отбора мощности
У нас система СКС top-of-rack Panduit
Top-of-rack кассеты
Кросс с коммутацией на четыре с минусом, скоро будет на пять
Аккуратность монтажа — наш небольшой пунктик. Даже в московской тестовой зоне, где вообще каждый день всё меняется и чёрт ногу сломит в составе оборудования, монтаж более-менее аккуратный. Мы по опыту знаем, что неподписанный и неаккуратно смонтированный кабель может стать причиной прерывания сервиса.
Коммутация свитчей агрегации
Активное сетевое оборудование
10% зала рассчитаны на стойки высокой плотности — до 20 кВт на единицу. Самые мощные стойки стоят в центре зала, там есть запас по холоду из-за особенности движения потоков воздуха больших скоростей.
А вот стоят СХД. Их пока не подключали. Где-то здесь же будут храниться данные о вашем балансе.
Ленточная библиотека
Вот это — тепловентиляторы. С их помощью мы проверяли зал на возможность отводить тепло. Да-да, просто грели его и смотрели, что получится.
Отвод к рядному шинопроводу
Снова Novec, запаса хватает на два срабатывания системы пожаротушения
Вот так к машзалу идут кабели питания, которые мы видели в подвале
Теперь заглянем в офис к админам и не только.
Главный вход в здание дата-центра
Обходим ЦОД и видим временные модульные блоки — это столовая и «офис» — места, где смена работала во время строительства объекта, когда офисные помещения ещё не были готовы. В офисе куда лучше, чем в таком «контейнере».
Временный офис и столовая
На входе у нас макет дата-центра:
Подсвечена схема охлаждения:
На крыше видно конденсаторные блоки чиллеров:
Ещё можно подсветить питание, и магистральные вводы:
Прежде чем попасть внутрь, покажу каски в раздевалке. Один из строителей оказался художником и расписал свою каску — и понеслась.
Open space
Стена сделана из школьной доски
А вот комната отдыха для смен администраторов.
Кофе-поинт
Кабинет
Санузел
Снова на улицу! Всё обошли, только не были на крыше. А на крыше ведь чиллеры, вот они осторожно выглядывают:
Вот сама крыша. Она очень большая и полосатая. Со спутника наш ЦОД видно как кружок-логотип.
Это мы приближаемся к внешним блокам чиллеров. Как от бытовых кондиционеров, только немного побольше.
Вот эти «окошки» или зенитные фонари — это места, где горячий воздух естественным образом окончательно покидает здание.
Зенитные фонари
У каждого зенитного фонаря своя метеостанция, которая посылает данные в систему автоматики
А вот и конечный пункт фреонопроводов, которые мы видели раньше
Такое количество труб, потому что каждый блок двухконтурный, и на один чиллер их два (то есть сам чиллер четырёхконтурный)
Элементы систем общеобменной вентиляции здания
Вот и мачта молниезащиты: 
Вот такой наш дата-центр в Ярославле. Пока запущен первый модуль флагманского ЦОД, рассчитанный на 236 стоек, потихоньку переводим туда часть «боевых» систем. Кстати, к нам переехал Федеральный центр мониторинга, а скоро приедут девчонки из объединенного центра обслуживания. Так что бодрости духа не теряем.
