На востоке растут облака: новосибирский дата-центр «Ростелеком-ЦОД» сегодня
Нашему ЦОДу в Новосибирске исполнилось полтора года. За это время в дата-центре выросла зона доступности облака DataLine для заказчиков из Сибири и Дальнего Востока, а также появились новые услуги. Сейчас в новосибирском облаке размещаются почтовые сервисы, облачные диски клиентов, объектные хранилища, сервисы DBaaS, Kubernetes, сервисы ИБ, DR-площадки и резервные копии.
В фоторепортаже из Новосибирска посмотрим, как работает дата-центр сегодня.
Факты про новосибирский дата-центр:
адрес: улица Менделеева, д. 1,
3 машзала на 300 стойко-мест суммарно,
общая площадь 1 800 м²,
введенная мощность 3 МВт,
средняя мощность на стойку 5,4 кВт,
уровень Tier III
ЦОД на карте зон доступности
Новосибирский ЦОД — самый восточный дата-центр «РТК-ЦОД». В стойках «Новосибирска» и в новосибирском облаке размещаются не только местные заказчики, но и клиенты из Барнаула, Кемерова, Красноярска, Владивостока — все, кому важно связать свой регион со столицей или мировыми площадками.
Города присутствия сети дата-центров «Ростелеком-ЦОД».
Связность новосибирского ЦОДа с Москвой обеспечивает MSK-IX — наша партнерская сеть обмена трафиком. MSK-IX организует пиринг с ЦОДами и другими крупными площадками в Москве, Санкт-Петербурге, Екатеринбурге, Казани, Владивостоке, Риге и других городах.
Тут мы уже рассказывали, как работает сетевая связность через MSK-IX и что она дает клиентам наших ЦОДов. При построении маршрутов между ЦОДами проектировщики сети ориентируются на кратчайшие пути прохождения телеком-магистралей: как правило, они идут по федеральным трассам, железнодорожным путям или траверсам и опорам энергетиков.
ЦОД на карте города
Новосибирский дата-центр расположился не в промзоне, а в жилом Калининском районе, так что доехать из Центра на автомобиле можно за 15 минут. На общественном транспорте добираемся так:
От станции метро «Заельцовская» садимся на автобус, троллейбус или трамвай, едем 6 остановок до «Улицы 25 лет Октября» и дальше идем 740 метров до улицы Менделеева, дом 1.
Из-за близкого соседства с жилыми домами было важно позаботиться о защите соседей от шума. Еще на этапе проектирования мы задали допустимый уровень звука в 60 ДБ и подобрали оборудование в соответствии с этими параметрами. Например, запланировали шумоподавление для дизель-генераторных установок. Сейчас это выглядит вот так:
Доступ в ЦОД и физическая безопасность
Внутрь можно попасть по пропуску, для его оформления необходим паспорт. Посетителям за рулем также нужно указать номер авто. Если пропуск оформлен, на проходной откроют в любое время дня и ночи.
На всей территории ведется круглосуточное видеонаблюдение:
Всего на территории оборудовано 106 видеокамер. Их трансляция собирается на видеостене в службе охраны, а видеозаписи отправляются в наше облако и хранятся там 1 месяц.
Так выглядит пост охраны на проходной. Здесь получаем наш пропуск:
Турникет на входе оборудован системой контроля и управления доступом. Такими считывателями оснащены все двери внутри здания. Пропуск понадобится для входа в любое служебное или офисное помещение. Права доступа зашиты в самой карточке: в некоторые внутренние помещения могут пройти только инженеры с соответствующим уровнем допуска.
Машинные залы
Все стойки с ИТ-оборудованием размещаются в трех машинных залах на втором этаже. По традиции, в каждом региональном ЦОДе мы даем машзалам названия, связанные с городом. Новосибирские залы получили свои имена в честь мостов через Обь:
Первые 2 зала одинаковые по площади, там по 98 стойко-мест. Третий вмещает уже 104 стойки — этот зал модернизировали под специальные пожелания заказчиков.
Каждый зал находится в специальной гермозоне, которая обезопасит оборудование в случае пожара, наводнения или урагана. Стены гермозон не пропускают влагу и пыль, а также сдерживают распространение огня. Надежность защиты от воды проверяют до ввода в эксплуатацию: каждую гермозону проливают водой и убеждаются, что потоки стекают по специальным желобам в трубопровод снаружи.
В зале можно разместить стойки любого форм-фактора, а также организовать отдельный кейдж. Специалисты дизайн-центра DataLine помогают грамотно расположить оборудование в зале, например, поставить наряду со стандартными стойками более широкие и глубокие:
Все стойки ставим по принципу горячих и холодных коридоров. В холодном коридоре поддерживается температура 23–27 °С и влажность 30–70%.
Собирать информацию о климате в зале помогают вот такие датчики температуры и влажности. По требованиям стандарта Tier III они установлены на высоте 1,5 метра от пола:
По желанию клиента мы можем модернизировать электроснабжение и охлаждение залов под более мощные стойки с трехфазным питанием:
В этом изолированном холодном коридоре температура поддерживается на нижней границе в 23 °С — это необходимо для стоек повышенной мощности 18 кВт с блейд-серверами. 
А это горячий коридор.
Над коридорами между стойками установлены видеокамеры. Оборудование установлено так, что все двери просматриваются с двух сторон:
Также у клиентов есть техническая возможность установить свои видеокамеры и следить за порядком самостоятельно.
Энергоснабжение
Система энергоснабжения зарезервирована по схеме 2N: каждый ее элемент дублируется. В ЦОДе 4 собственные трансформаторные подстанции, каждая мощностью 1 600 кВА. От города к трансформаторам подходит два независимых ввода электропитания напряжением 10 кВ.
От трансформаторов электричество поступает на источники бесперебойного питания (ИБП), которые выравнивают напряжение и страхуют оборудование от перебоев в электропитании. Всего в дата-центре 18 вот таких ИБП:
Источники бесперебойного питания Vertiv.
К каждому из них подключены 44 аккумуляторные батареи (АКБ). Если городское питание пропадет, они обеспечат работу дата-центра в течение 12 минут.
Стеллаж с АКБ в одной из двух аккумуляторных.
Этого времени хватит для запуска дизель-генераторных установок (ДГУ): обычно они выходят в рабочий режим за 30 секунд. Всего в новосибирском ЦОДе 3 вот таких ДГУ:
Каждая ДГУ мощностью 1 800 кВт.
При стопроцентной нагрузке дизельный двигатель потребляет 340 литров топлива в час. Поэтому мы держим запасы в расходных баках ДГУ и в топливохранилище. Всего в запасах хранится 11 400 литров — такого количества хватит на 12 часов автономной работы дата-центра.
Холодоснабжение
Для охлаждения оборудования в дата-центре используется схема с фреоновыми прецизионными кондиционерами.
Ряд кондиционеров Vertiv.
В каждом машинном зале работает по 8 кондиционеров, 4 из них — с парогенератором.
В выбранной схеме внутренние блоки кондиционеров забирают теплый воздух из горячего коридора в машинном зале. Внутри блока есть теплообменник, где воздух охлаждается, а нагретый фреон отправляется в обратную магистраль системы холодоснабжения, которая соединяется с внешними блоками на крыше.
Вся система холодоснабжения зарезервирована по схеме N+1.
Пожарная безопасность
Дата-центр оснащен системой газового и порошкового пожаротушения. Порошок используем только для тушения в топливохранилищах, где нет чувствительной электроники.
Для противопожарной защиты всех машинных залов и технологических помещений на 1 этаже оборудована станция пожаротушения с баллонами газа. Внутри них — хладон-227, это вещество безопасно для ИТ-оборудования в ЦОДе.
Всего в системе 10 направлений пожаротушения. Здесь тоже резервирование 2N: на каждое направление предусмотрен основной и резервный запас огнетушащего вещества — всего от 1 до 3 баллонов, в зависимости от объема помещения, которое необходимо потушить. От них газ расходится по таким желтым трубам:
В каждом помещении трубы проходят под фальшполом и по потолку. Например, трубы в машинном зале заканчиваются таким специальным распылителем:
А вот такие трубы под фальшполом:
Каждый зал оборудован дымовыми и комбинированными датчиками на потолке и под полом. Также в залах установлены пожарные сигнализации-извещатели:
Датчики реагируют на основные признаки пожара: открытый огонь, задымление или появление мелкодисперсной смеси в воздухе. Во всех этих случаях сигналы от датчиков поступят в систему пожаротушения и автоматически приведут ее в предпусковую готовность.
Одновременно с этим дежурные инженеры в диспетчерской получат оповещение в системе мониторинга с указанием координат сработавшего датчика на схеме здания. Задача инженеров — проверить ситуацию и, если необходимо, подтвердить пуск газа по системе пожаротушения. Подтверждение нужно, чтобы убедиться в безопасности людей на месте срабатывания.
Централизованный автопуск газа предусмотрен по стандартам Tier III, но, помимо этого, около каждой двери есть кнопки для ручного пуска:
Мониторинг
В диспетчерскую поступает не только информация с противопожарных датчиков, но и все данные по инженерным системам: климатические условия в зале, состояние кабельных вводов, влажность, кондиционирование, ИБП, ДГУ, топливо.
Дежурные обходят центр и проверяют состояние оборудования и ИТ-инфраструктуры каждые четыре часа.
Для мониторинга облачных сервисов часть данных собирается на физическом уровне. Например, состояние сетевых портов проверяем с помощью отдельной сети out-of-band, о которой подробнее уже рассказывали тут. Для отслеживания статусов хостов виртуализации используются специальные «маячки», о работе с ними мы напишем отдельный пост. На уровнях выше смотрим на утилизацию ресурсов CPU, RAM, дисков и так далее. Эти данные доступны инженерам виртуализации как в Новосибирске, так и в Москве, в едином ситуационном центре.
Телеком
В здании ЦОДа 2 независимых кабельных ввода. Через них в здание заходят оптические кабели нескольких операторов связи: «Ростелекома», MSK-IX, «Авантела», Orange Business, «Новотелекома», ТТК, «Кортела».
Под запросы клиентов мы можем продумывать индивидуальные сетевые схемы и модернизировать СКС. Например, для одного из проектов к нам в ЦОД приезжал подрядчик для разработки схемы с использованием меди и оптики. В итоге организовали вот такие патч-панели с красиво уложенной оптикой и медью:
Вспомогательная инфраструктура и быт
Слева от входа есть отдельная зона погрузки и разгрузки оборудования. За дверью находится просторная зона распаковки: зимой там можно оставить оборудование отогреваться.
Внутри есть грузовой лифт со всем необходимым для бережной перевозки серверов:
Лифт выдерживает вес до 3 тонн.
В коридоре второго этажа для клиентов оборудовали специальные шкафы и ящики, например: здесь можно хранить инструменты:
Мы внимательно относимся к охране труда и заботимся о безопасных условиях работы для наших инженеров. В помещении ГРЩ оборудован вот такой уголок со средствами индивидуальной защиты. Здесь же находится аптечка:
Будем рады видеть вас в качестве гостей — реальных или виртуальных!
