Экскурсия по дата-центру «Цветочная 2»
Среди всех событий прошлого года больше всего нам запомнилось открытие нового — самого большого в сети Selectel — дата-центра в Санкт-Петербурге. Это открытие стало значительной вехой не только в истории компании, но и города. Церемонию открытия дата-центра 17 декабря 2015 года посетил губернатор Петербурга Георгий Полтавченко.
Открытие нового дата-центра.
Дата-центр «Цветочная 2» расположен в деловой черте города, недалеко от станции метро Московские ворота. Рядом находится головной офис Selectel и один из наших первых дата-центров «Цветочная 1».
«Цветочная 2» — один из самых современных в России. По уровню надежности и отказоустойчивости он соответствует требованиям стандарта Tier III по классификации Uptime Institute и стандарта TIA-942. Дата-центр имеет сертификат PCI DSS. На площади 12 тысяч м2 будет обеспечена бесперебойная работа 1000 серверных стоек.
Зачем нам потребовался новый дата-центр?
Чтобы рассказать эту историю с самого начала, нам придется вернуться на три года назад — в 2013-й. Именно тогда стало понятно, что вскоре Selectel потребуются новые мощности. Этому способствовали планы развития собственных хостинговых проектов и формирующийся на рынке тренд на аутсорсинг инфраструктуры.
Удачную локацию для дата-центра долго искать не пришлось. Подходящее здание расположилось прямо напротив офиса компании. По адресу Цветочная, 21 с 70-х по 90-е годы располагался завод светочувствительных материалов «Позитив». Когда производство было остановлено, помещения завода стали сдаваться в аренду небольшим фирмам.
Selectel выкупил промышленное здание для его перестройки под дата-центр. К концу 2013 года уже была готова общая архитектурная концепция «Цветочной 2» и заложены ее основные характеристики. Проект предполагал сохранение общих форм здания, но полную переделку внутренних помещений.
Комплекс «Цветочной 2» включает в себя два здания: главное, четырехэтажное и примыкающее к нему одноэтажное. Его площадь составляет 12 тысяч м2. В основу проекта легла идея создания независимых друг от друга дата-центров на каждом этаже основного здания. Один этаж — один ЦОД мощностью 2,5 МВт. Примыкающее здание решено было использовать под размещение дизель-генераторных установок, трансформаторных подстанций и распределительных устройств.
В начале 2014 года стартовали работы по перестройке здания. Через год — в ноябре 2014-го — в опытную эксплуатацию была введена первая очередь дата-центра, а к декабрю 2015-го завершились работы во всем здании «Цветочной 2». Вопреки экономической нестабильности, нам удалось выдержать все запланированные рамки и сроки строительства.
Устройство нового ДЦ
«Цветочная 2» станет первым на Северо-Западе дата-центром полностью сертифицированным Uptime Institute по стандарту Tier III. Сейчас мы завершаем первый этап сертификации — Design.
Соответствие требованиям Tier III, в частности, означает, что все инженерные системы дата-центра многократно зарезервированы: у каждого активного канала электропитания и охлаждения есть несколько дублирующих каналов. Уровень доступности услуг для Tier III дата-центра должен составлять 99,982%. Чем выше этот уровень, тем ниже допустимое время простоя (даунтайма) дата-центра. Для Tier III допустимый даунтайм — всего 95 минут в год.
«Цветочная 2» связана с дата-центром «Цветочная 1». Последний является важной городской точкой обмена трафиком и связан оптическими линиями с другими узлами связи и пиринговыми центрами. Благодаря этому новый дата-центр имеет возможности подключения практически ко всем работающим в Петербурге операторам связи, которых насчитывается более ста. Помимо этого, для расширения пиринговых отношений мы соединили «Цветочную 2» волоконно-оптическими трассами со всеми важнейшими точками обмена трафиком в городе: «Боровая, 57», «Большая Морская, 18» и дата-центром «Радуга-2».
Есть на «Цветочной-2» и собственный узел связи, уже готовый к размещению операторов. В ближайшем будущем это позволит нашему новому дата-центру стать крупной точкой обмена трафиком.
Охрана и безопасность
За черным пуленепробиваемым стеклом — вооруженная охрана.
Стандарт PCI DSS требует повышенного внимания к безопасности. Вооружённая охрана тщательно контролирует доступ в дата-центр. Вход осуществляется строго по пропускам. У каждого сотрудника Selectel есть идентефикационная карточка с фотографией — она же и является пропуском, который нужно прикладывать к считывателю на входе. Пропуски особого образца есть также у клиентов и у подрядчиков. Пропустить по своей карте кого-то другого невозможно: если кто-то из наших сотрудников даст постороннему войти в дата-центр, то последний войдёт, но выйти уже не сможет. Разблокировать дверь по той же карте не получится. Такая система называется Anti PassBack. Благодаря её использованию вероятность нерегламентированного проникновения в помещения дата-центра практически равна нулю.
Допуск в серверные помещения вообще строго ограничен: туда могут попасть только системные инженеры. Все остальные сотрудники в серверных «Цветочной 2» бывают только один раз — на экскурсии в честь окончания испытательного срока.
Диспетчерская
За происходящим в ДЦ одновременно следят два инженера.
За постом охраны находится диспетчерская. На мониторах в режиме реального времени отражается происходящее в серверных помещениях. Сюда же поступает актуальная информация о работе основных инженерных систем дата-центра.
Серверные помещения
На каждом этаже дата-центра располагается несколько серверных помещений разных размеров. Большие серверные вмещают до 140 стоек. Для резервирования оптоволокно к стойкам подводится по нескольким маршрутам: под фальшполом и по потолку.
На «Цветочной 2» мы предоставляем в аренду и изолированные пространства для размещения клиентского оборудования. В зону, где расположено оборудование, имеют доступ только инженеры клиента. Пространство полностью автономно и имеет собственную систему наблюдения. Клиенты, которые размещают оборудование или арендуют пространство, могут дополнительно арендовать помещение для сотрудников в офисной зоне.
Доставить оборудование даже до верхних этажей «Цветочной 2» не составляет проблемы. В дата-центре четыре лифта — один пассажирский и три грузовых. Максимальная грузоподъёмность лифта 2500 кг, такая вместимость позволяет транспортировать уже собранное оборудование в вертикальном положении.
Кстати, чтобы попасть в любую серверную дата-центра, нужно надеть «сменку». Грязь с уличной обуви может стать причиной преждевременного выхода из строя серверов и охлаждающих их кондиционеров. Но инженерам клиентов не обязательно нести с собой вторую — чистую — пару обуви. У входа в серверные залы установлены машины для автоматического надевания бахилл, в обиходе называемые просто «бахилляторами».
Экономим силы для великих дел, поэтому завели автоматический бахиллятор.
Подведение оптоволокна к стойкам предусмотрено под фальшполом и по потолку.
На каждом этаже есть переговорные.
Офисы, которые арендуют клиенты, разместившие оборудование в ДЦ.
Инженерная инфраструктура
Инженерные системы «Цветочной 2» обеспечивают бесперебойную работу дата-центра 24 часа 7 дней в неделю 365 дней в году. Для этого мы зарезeрвировали все элементы, каждый из них имеет дубль, принимающий на себя нагрузку в случае выхода из строя основного.
Кондиционирование и вентиляция
Температуру воздуха в серверных помещениях поддерживают прецизионные кондиционеры. Система кондиционирования построена по схеме N+1. К необходимому количеству элементов добавляется еще один, на который периодически переводится нагрузка. В целом система кондиционирования на «Цветочной 2» соответствует решениям, доказавшим свою эффективность в других дата-центрах Selectel. Однако в новом ЦОД использован принцип непрямого фрикулинга. Для охлаждения используется потенциал температуры наружного воздуха. За счет этого эффект от применяемой технологии достигает своего максимума. Естественное охлаждение снижает нагрузку на чиллеры и другое оборудование, что позволяет достигать высоких показателей энергоэффективности.
Электроснабжение
Cхема электроснабжения дата-центра предусматривает подключение технологической площадки к собственной двухсекционной распределительной подстанции напряжением 10 кВ. Эта подстанция, в свою очередь, подключена двумя независимыми высоковольтными линиями к городской системе электроснабжения. Каждый этаж «Цветочной 2» обеспечивает электричеством индивидуальная понижающая трансформаторная подстанция напряжением 10/0,4 кВ и мощностью 2×2500 кВА.
Система гарантированного электроснабжения (СГЭ) запускается автоматически при остановке подачи тока из городской сети. Для снабжения энергией ключевого оборудования предусмотрены резерные аккумуляторные емокости. Мощность каждой — 6×400 кВт, блоки зарезервированы по схеме 2N.
Вот такие «батарейки» рассчитаны на непрерывную работу дата-центра в течение несколько часов.
Если ликвидация аварии затягивается и возможностей ИБП оказывается недостаточно, включаются дизель-генераторные установки (ДГУ). Кроме того, система электроснабжения в целом зарезервирована по схеме 2N. При исчезновении напряжения от одного или двух вводов электропитания на главном распределительном устройстве автоматически подаётся команда на запуск дизель-генераторных установок.
Дизель-генераторы выходят на рабочий ход в течение двух минут.
Установки спроектированы для работы в качестве основного источника электроснабжения дата-центра и имеют схему резервирования N+1. Они способны обеспечить полноценную работу дата-центра даже в случае продолжительной аварии в масштабе региона. На территории находится запас топлива для поддержания работы ДГУ в течение 48 часов.На случай длительных перебоев с электроэнергией у нас заключен договор с топливной компанией, в котором предусмотрены особые условия гарантированного подвоза топлива.
Пожаротушение
В помещениях и технологических системах дата-центра установлена противопожарная сигнализация, соединенная с центральным диспетчерским пультом. Все датчики имеют адресное исполнение, поэтому инциденты возможно локализовать в течение пары минут.
На каждом этаже есть автономные центральные станции газового пожаротушения с использованием газа хладон. Они обеспечивают защиту всех серверных и технологических помещений. Для противопожарной системы использовано оборудование отечественной компании «Болид».
Из малой серверной хладон вытесняет кислород за две минуты. Оборудование не пострадает, а люди успеют эвакуироваться.
В заключение хотели бы поблагодарить коллегу seriouscat за экскурсию и рассказ об устройстве дата-центра.
Если вам кажется, что мы что-то упустили или рассказали недостаточно подробно — не стесняйтесь задавать вопросы в комментариях.
