Гуляем по новому дата-центру “Ростелеком-ЦОД” в Санкт-Петербурге
Сегодня отправимся в Калининский район Санкт-Петербурга и со всех сторон посмотрим на дата-центр «Ростелеком-ЦОД», который запустился в декабре 2020 года. Новый ЦОД построили «с нуля» недалеко от корпусов завода ЛОМО по адресу: ул. Жукова, 43 (не путать с проспектом Маршала Жукова!).
Пять лет назад здесь было заброшенное строительство мазутохранилища (любим строить на территориях старых заводов). Сейчас на петербургской площадке заказчики уже арендовали первые стойки и заработали облачные сервисы DataLine.
Несколько фактов про ЦОД
Общая площадь: 4 266 кв м.
Общая емкость: 792 стойко-мест.
4 машинных зала, до 198 стоек каждый.
Проектная мощность: 7 400 кВт.
Соответствует стандарту Tier III.
Из истории
Перспективную территорию в Санкт-Петербурге заметили еще в 2016 году. Когда-то давно здесь хотели построить мазутохранилище для ТЭЦ, но в конце 1980-х строительство забросили, и площадка так и оставалась невостребованной.
Зато этим местом интересовались киношники. В огромных резервуарах стояла вода, в них проходили подводные съемки для петербургских фильмов.
В 2018 году здесь начался демонтаж.
Хроники расчистки площадки.Затем площадку дренировали и подготовили почву к строительству. Так как местность оказалась болотистой, фундамент дополнительно укрепили с помощью бетонной плиты на глубине 8 метров.
В 2019 основное строительство завершилось, а в 2020 началось самое интересное: монтаж инженерных систем. Мы немного следили за процессом и делились наблюдениями в соцсетях по хештегу #дневникстройки — заглядывайте по ссылке, если тоже любите стройку.
Посмотрим, что появилось на месте стройплощадки.
Так эта же площадка выглядела в июле и в октябре 2020 года. Физическая безопасность
Добраться до дата-центра в Санкт-Петербурге удобнее всего по улице Чугунной. На общественном транспорте можно доехать до ст. м. «Выборгская» и сесть на маршрутку К-283 до остановки «Чугунная, 46». Вход и въезд — через ворота со стороны ул. Чугунной.
На территории дата-центра действует пропускная система: заранее заказываем пропуск и на входе предъявляем охраннику паспорт. Водителям на своем авто также нужно указать номер машины.
Первый пункт охраны находится уже у въездных ворот и защищает от несанкционированного доступа всю территорию. Внутри достаточно места для парковки, спокойно выбираем.
Вся прилегающая территория хорошо просматривается благодаря видеокамерам.
Нас уже заметили.Внутрь здания дата-центра проходим через турникет мимо еще одного поста охраны. Здесь оборудован «наблюдательный пункт»: охранники видят трансляцию со всех внутренних и внешних камер наблюдения.
Машинные залы
На первом этаже симметрично расположены 2 независимых модуля. В каждом из них по 2 машинных зала с собственными энергоцентром и хладоцентром.
Так на схеме выглядит половина дата-центра. Вторая половина такая же.Нужный машзал легко найти по навигации на стенах. Залы назвали в честь островов Санкт-Петербурга:
Каждый модуль расположен в специальной гермозоне с защитой от воды, пыли и огня. Перед запуском дата-центра инженеры проверили герметичность каждого защитного короба. Для этого крышу гермозоны проливали водой, как во время серьезного потопа, и проверяли на протечки. В норме даже при стихийном бедствии вся вода стекает по желобам вокруг гермозоны в специальный трубопровод.
Внутри каждого машинного зала можно разместить до 198 стоек от 5 кВт. Например, этот зал пока пустой, но скоро стойки отправятся на свои места.
Как и во всех наших дата-центрах, можно арендовать стойко-место, кейдж или целый зал. Стойки устанавливаем под запросы заказчиков. Можно выбрать стойки с удобным форм-фактором, учесть требования по СКС и физической безопасности.
Стойки в залах расставлены по принципу горячих и холодных коридоров. Оборудование выбрасывает нагретый воздух в горячий коридор и забирает охлажденный воздух из холодного коридора через перфорированные плитки фальшпола. В каждом холодном коридоре поддерживается температура 23±2 градуса и влажность 30–70%.
Приоткроем плитку фальшпола в холодном коридоре.Несущая способность фальшпола — до 2 тонн на квадратный метр. Такая поверхность выдержит легковой автомобиль, например, Hyundai Solaris. Под фальшполом проходят все основные коммуникации инженерных подсистем. Например, эти желтые трубы отвечают за подачу огнетушащего газа в случае пожара:
Такие же желтые трубы расположены под потолком. При пожаре в зал через распылители поступит специальный огнетушащий газ.
Каждый коридор между стойками просматривается с двух сторон с помощью камер видеонаблюдения.
Энергоснабжение
Cистема энергоснабжения в дата-центре зарезервирована по схеме 2N. В ЦОДе 2 отдельных энергоцентра в каждом модуле.
В случае любой аварии один энергоцентр обеспечит питанием залы не только в своем модуле, но и в противоположном.
Каждый модуль оборудован источниками бесперебойного питания (ИБП) и дизельными генераторными установками (ДГУ). Все ИБП тоже зарезервированы по схеме 2N. То есть к каждой стойке подходят 2 независимых ввода бесперебойного электропитания.
Ряд ИБП Vertiv (ex-Liebert) в энергоцентре.Если питание от одного городского ввода пропадает, ИБП автоматически передадут его нагрузку на аккумуляторные батареи (АКБ).
Стеллажи c батареями в помещении АКБ. Дата-центр может работать от АКБ до 10 минут. Этого времени хватает для запуска ДГУ. Именно ДГУ отвечают за гарантированное энергоснабжение: даже если весь город обесточен, ДГУ обеспечивают бесперебойную работу оборудования в ЦОДе.
ДГУ марки MTU 16V4000 DS2250 мощностью 1965 кВт.Установки тоже зарезервированы по схеме 2N: трех ДГУ уже достаточно для питания четырех машзалов, а в дата-центре их 6. Система спроектирована таким образом, что зарезервированы не только ДГУ, но и трассы.
Во время работы ДГУ довольно сильно вибрируют. Чтобы вибрация не влияла на основной фундамент, все ДГУ установлены на отдельное бетонное основание.
Каждый дизельный двигатель потребляет примерно 300 литров в час. Топливохранилище ДГУ рассчитано на 25,2 куб. м. При максимальной проектной загрузке ЦОДа ДГУ могут работать в аварийном режиме 12 часов без дозаправки. В рабочем режиме и при нормальной загрузке — гораздо больше.
Один бак топливохранилища вмещает 12,6 куб. м, всего таких баков два. Когда дизель работает и топливо начинает заканчиваться, срабатывают датчики, которые запускают систему насосов. Насосы начинают подавать топливо из топливохранилища. Как только топливо поднимется до нужного уровня, снова сработает датчик, который даст команду закрыть задвижки на трубах и отключить насосы.
Если же запасы начнут истощаться, топливо для дозаправки подвезут за 6 часов. Все сроки прописаны в контракте с поставщиком, предусмотрены премии за быстрое выполнение заказа. Заправка на работу дизеля не влияет.
Для топливозаправщика на территории ЦОДа оборудована специальная площадка. На месте заправки поставщик подключается к трубопроводу, открывает задвижки — и насосы автоматически начинают работу.
Холодоснабжение
Охлаждение оборудования обеспечивает чиллерная схема холодоснабжения с этиленгликолем в качестве теплоносителя. На крыше работают чиллеры и охлаждают циркулирующий в трубах гликоль. В двух хладоцентрах на первом этаже находятся насосы, расширительные баки, разводка всех труб и оборудование для управления системой. А в машинных залах, помещениях АКБ, энергоцентре и телеком-аппаратных установлены внутренние блоки кондиционеров.
Все элементы зарезервированы по схеме N+1. Это значит, что выход из строя любого из элементов не повлияет на работу системы: нагрузка распределится между оставшимся оборудованием.
Общая схема системы холодоснабжения.В каждом машинном зале установлено 8 прецизионных кондиционеров Vertiv PCW PH136EL. 4 из 8 кондиционеров в зале — с функцией пароувлажнения.
Кондиционеры забирают теплый воздух из горячего коридора в машинном зале. Внутри кондиционера есть теплообменник, от которого нагретый этиленгликоль отправляется в обратную магистраль системы холодоснабжения.
К обратной магистрали подключены расширительные баки: они ограничивают колебания давления из-за разницы температур.
Бак оборудован манометром: если давление выходит за рабочие пределы, срабатывает предохранительный клапан. Из обратного контура насосы забирают нагретый этиленгликоль и отправляют его на крышу к чиллерам, чтобы охладить до 10 градусов.
Циркуляционные насосы в одном из хладоцентров.Трубы на крышу идут через вентиляционные камеры на втором этаже.
Отличить «горячий» и «холодный» контур можно по цвету стрелок.На крыше установлены 6 чиллеров Vertiv FD4130-LN. Чиллеры окружены звукоизолирующими панелями. Дата-центр расположен в стороне от жилых кварталов, но так мы точно уверены, что шум не выйдет за пределы промзоны.
Таких секций на крыше две. Здесь же на крыше находятся аккумулирующие баки. В них хранится охлажденный этиленгликоль на случай отказа электропитания чиллеров. Если городское электропитание пропадает, во время перехода на ДГУ часть чиллеров перезапускается. Для выхода на рабочую мощность чиллерам нужно до 5 минут, а баков хватит на 6 минут.
Аккумулирующие баки и трубы оклеены теплоизоляционным материалом K-Flex и защищены от физического воздействия металлическим кожухом. Пожарная безопасность
Дата-центр оборудован газовой станцией пожаротушения. Отсюда трубы расходятся по всему дата-центру: в нашей системе пожаротушения 16 направлений. Система зарезервирована по схеме 2N. Всего здесь стоит 24 баллона, на каждое направление тушения предусмотрен основной и резервный запас огнетушащего вещества. Внутри баллонов находится хладон-227еа, этот газ безопасен для ИТ-оборудования в ЦОДе.
Если в помещении возникает дым, система автоматической пожарной сигнализации отправляет сигнал от датчиков пожарообнаружения. Сигналы поступают в диспетчерскую, где сидят дежурные инженеры. Здесь расположен контрольно-индикационный блок, где сразу загорается табло «ТРЕВОГА» или «ПОЖАР». Если сработали оба датчика, в дата-центре запустится система оповещения.
Чтобы дежурные могли быстро понять, где и какой датчик сработал, на мониторы автоматизированного рабочего места выведена вся схема здания с расстановкой датчиков.
Инженер смены отправляется на место возможного возгорания и уже там принимает решение о пуске газа. Порядок действий четко прописан: сначала проверяем, что в месте срабатывания нет людей и никто не пострадает. Если это действительно пожар, дежурный заботится об эвакуации людей и только после этого вручную запускает систему пожаротушения. Пуск газа предусмотрен возле каждой двери:
Такие же кнопки есть и около эвакуационных выходов. Мониторинг
В систему мониторинга стекаются сигналы от всего инженерного оборудования. Инженеры круглосуточно отслеживают основные показатели работы: состояние систем энергоснабжения и кондиционирования, климат в каждом зале, физическую безопасность. Для наблюдения за многими параметрами в центре мониторинга оборудована видеостена. У дежурных в диспетчерской также стоит отдельный монитор для слежения за системой. Здесь можно «провалиться» внутрь и посмотреть состояние оборудования и его параметры.
Все показатели систем мониторинга со всех площадок сводятся в единый ситуационный центр в Москве.
Телеком
В дата-центр независимыми маршрутами заведены 2 телеком-ввода от магистралей «Ростелекома».
Также на площадке есть операторы со своей оптикой: «Северен-Телеком», «ОБИТ», «Комфортел». Еще здесь работает «Филанко» и скоро появится «Авантел». Дата-центр готов принять любого телеком-провайдера, удобного клиенту.
Одна из кроссовых. На площадке обеспечивается надежная сетевая связность с другими дата-центрами группы «Ростелеком-ЦОД».
Вспомогательная инфраструктура и быт
Для транспортировки оборудования предусмотрено несколько зон погрузки и разгрузки. Вот один из заездов с пандусом:
Так выглядит зона разгрузки внутри:
Не забыли и про бытовые удобства. На кухне почти все готово, скоро здесь появится еще и гарнитур с удобными ящиками для хранения посуды:
Команда дата-центра весь 2020 год готовила новую площадку для комфортной работы коллег и клиентов, несмотря на пандемию. Строительство и эксплуатация дата-центра организованы по нашим единым стандартам, за качество отвечала петербургская часть большой команды «Ростелеком-ЦОД».
Будем рады видеть вас в гостях! Приезжайте в Санкт-Петербург знакомиться и на экскурсию.
