Где хранить данные: экскурсия в дата-центр IXcellerate

Часто приходится слышать, что хранить данные и выводить свои системы на ИТ-аутсорсинг — это опасно и ненадёжно. Якобы данные могут быть недоступны из-за технических проблем у провайдера, дата-центр может стать объектом хакерской атаки, да и просто спокойнее, когда всё ИТ-оборудование и все данные компании рядом, «под боком», а не хранятся и обслуживаются «на стороне».

Предлагаю посмотреть, как устроен дата-центр IXcellerate, в котором мы храним свои данные и данные клиентов. Мы — это сервис-провайдер «Онланта». Наше облако OnCloud.ru создано на базе нескольких, географически распределённых дата-центров. ЦОД IXcellerate как раз и является одним из них.

56777e615bca00d9db66aa52b06477d4.jpg


Центр обработки данных IXcellerate располагается на территории бывшей промзоны и завода ЖБИ в районе Алтуфьево на участке более 15 тыс. кв. м — это один из самых крупных дата-центров в Москве.

937397b5817572a85e6897a2d984d079.png


Выбор территории завода железобетонных изделий для создания дата-центра был неслучаен — подобные предприятия обычно имеют мощные линии ввода электроэнергии, что как раз и нужно для дата-центра. На территории ЦОДа таких линий две — от двух разных распределительных подстанций. Расстояние между их вводами в здание не менее 150 м. Это серьезно повышает надёжность и доступность сервисов дата-центра, поскольку вероятность сбоев по причине аварий на электросети сильно снижается.

Дата-центр IXcellerate начали строить в 2012 году и через год ввели в эксплуатацию первый машинный зал. Основателем компании IXcellerate является известный международный инвестор и британский предприниматель Гай Вилнер.

43046d598351c09192396a75ac87334a.png
Гай Виллнер (справа)

Соучредителем Гая Вилнера был другой международный бизнесмен — Клифф Гаунтлетт, который начал работать в Cоветском Союзе в конце 1980-х. Он оказался одним из тех иностранцев, которые приехали сюда во времена перестройки, влюбились в страну, и, несмотря на все её проблемы, остались здесь навсегда (Клифф скончался в 2013 г). Наверное, многие помнят телефонные карточки ROL. Их выпускал российский провайдер Golden Telecom, где Клифф работал старшим вице-президентом. Кроме этого, Клифф был ещё и заядлым «рокером» — возглавлял знаменитый ROL Band, а его песни есть даже в репертуаре группы Scorpions. Отсюда и девиз дата-центра IXcellerate — Rockin«Russia.

bfd2d063c899891c7d098adc71d13c01.png
Корпортивный фестиваль Rockin«Russia: Клифф Гаунтлетт с гитарой, за барабанами — Александр Вершбоу, посол США в России. (фото www.passportmagazine.ru)

В честь Клиффа Гаунтлетта Самый был назван первый машинный зал дата-центра IXcellerate.

911d0b3b5c547d1032d398e1f37e8c93.png
В дата-центре до сих пор висит гитара Клиффа, с оригинальным автографом самого Пола Маккартни


Проектная мощность дата-центра — 13.7 Мегаватт, а емкость  — 1835 стойко-мест, и это число растёт. Площадь здания — 6000 кв. м. Кроме того, в ЦОДе есть более 600 кв. м складских помещений для клиентов, где они могут хранить необходимое для работы оборудование.

К зданию дата-центра ведут две подъездные дороги. Территория удалена от аэропортов, железнодорожных путей, автотрасс, различного рода торгово-развлекательных центров, а также жилых зданий.

65e74eb5d34a3bc46e71da6b29ae2acc.png

Здание дата-центра с установленными устройствами охлаждения (чиллерами)

Помимо основного электроснабжения от двух электроподстанций в Подмосковье в дата-центре имеются и резервные дизель-генераторы, вырабатывающие электроэнергию в аварийных ситуациях, например, если во время стихийного бедствия откажут обе подстанции.

Для дизель-генераторов поставляется специальное топливо — летнее и зимнее. Около дизель-генераторов поставлены специальные защитные бетонные блоки, чтобы их случайно не повредили движущейся техникой.

e9ee6eae9b3f6d1a029f4fa818807fea.png

Уличный контейнер с дизель-генератором за защитными бетонными блоками

Работоспособность дизелей контролируется круглосуточно в режиме онлайн, да ещё и дежурный осуществляет обход каждые четыре часа. Во время нашего визита как раз проводилось техобслуживание дизель-генераторов, и на территории находились автомобили с контрольно-измерительным оборудованием.

При отказе сетевого электропитания аккумуляторы создают необходимый временной интервал, пока резервные дизель-генераторы после запуска выходят на необходимую мощность.

165c512de11adae987610510f8fc15e2.png

Техобслуживание дизель-генераторов

В дата-центре строго соблюдаются требования как физической, так и информационной безопасности, а также безопасности электросетей. Здание дата-центра облицовано т.н. сэндвич-панелями как снаружи, так и изнутри. Они обеспечивают теплоизоляцию и физическую защиту. Дата-центр строился по принципу «коробка в коробке», то есть от улицы внутренние помещения отделяют деревья, бетонный забор, газон и многослойные сэндвич-панели.

Крыша здания расположена на высоте 14 м, а крыша машинного зала — 9 м. Между ними есть защитная прослойка от протечек.

Многослойность позволяет поддерживать определенные параметры температуры и влажности, оптимальные для работы серверного оборудования. Микроклимат также создают охладители воздуха (чиллеры) и прецизионные кондиционеры.

Награды дата-центра
Дата-центр имеет сертификаты ISO 27001и ISO 9001, сертификат по стандарту безопасности данных для платёжных карт PCI DSS v3.2, а также сертификат соответствия уровню надежности IBM Level 3 в категориях «Проект», «Строительство» и «Эксплуатация». В 2018 году дата-центр IXcellerate получил сертификат Uptime Institute на соответствие уровню Tier III в категории «Дизайн».

Уровень обслуживания SLA, предоставляемый для клиентов составляет, как говорят ИТ-специалисты, «пять девяток». Это означает, что инфраструктура дата-центра доступна 99,999% времени рабочего времени. То есть время возможного простоя в год не превышает пяти минут и шестнадцати секунд.

Дата-центр третий год подряд является победителем и обладателем награды Russian DC Awards за самое эффективное решение по охлаждению и электроснабжению, за инновационное решение в области снижения совокупной стоимости владения ТСО (Total Cost of Ownership), а также локализацию персональных данных.

Вложения в дата-центр составляют порядка 50 миллионов долларов, при этом уровень операционной безубыточности был достигнут после 4 лет эксплуатации, а не за обычные для дата-центров такого класса 8–10 лет.

5893d360cd4ad9abe37841547d48bde8.png
«Тумба гордости» с наградами и сертификатами дата-центра


Создание дата-центра


Дата-центр IXcellerate строился модульно, в три фазы. Машинный зал первой фазы во время строительства в 2012 году был самым большим в Москве. Залы второй и третьей фазы огибают зал первой фазы по периметру буквой Г.

Каждый машинный зал имеет собственные погрузочно-разгрузочные зоны. Отдельная разгрузочная зона предусмотрена и для пожарной станции.

d6c7b39713b269a21dbb85ddfe76d592.png

Схема ЦОД IXcellerate

IXcellerate создавался как «нейтральный» дата-центр, независимый от поставщиков телекоммуникационных и облачных услуг, и ориентированный исключительно на услуги «колокейшн» (co-location), т.е. размещение оборудования клиентов, его защиту и обеспечение требуемой инженерной инфраструктуры с установленным уровнем обслуживания по стандартному договору.

Бывает, что клиенты спрашивают про облачные услуги. Для таких случаев в дата-центре имеется экосистема партнёров, на оборудовании которых предоставляются облачные решения. Мы как раз этим и занимаемся.

Посмотрим, что внутри


Дата-центр обязывает сотрудников и авторизованных клиентов проходить двойную идентификацию, включающую стандартную ID-карту и биометрический контроль (сканер ладони руки).

13f52963ac84587aa708d02bde019fb3.png

Контроль доступа для сотрудников

Доступ в ячейки («клетки»), где установлено клиентское оборудование, находится  под круглосуточным контролем, то есть туда могут попасть только авторизованные клиентом сотрудники дата-центра. Эти ячейки отгорожены друг от друга металлической сеткой.

Ячейки также имеют собственные средства физической защиты, например, кодовые замки и видеокамеры. Всего предусмотрено пять рубежей физической безопасности с постоянно работающей системой мониторинга и управления зданием (BMS) Computrols.

В дата-центре стало хорошей традицией называть каждый машинный зал в честь компании или человека, который внёс наибольший вклад в его создание.

Зал первой фазы, названный в честь Клиффа Гаунтлетта, спроектирован на 220 стойко-мест с оборудованием клиентов.

При строительстве зала второй фазы были использованы инвестиции японской компании Sumitomo Corp., поэтому он называется The Summit Hall. Зал третьей фазы назван «Высота» в честь технического директора дата-центра Сергея Владимировича Вышемирского, который раньше работал на аэродроме «Чкаловский».

35c232dc4fdcfcbae06a856b0ad77bbd.png
Табличка с названием третьего машинного зала


Электропитание и охлаждение


Для питания оборудования клиентов используется электричество повышенного качества. Что означает слово «качество» применительно к электричеству? Не секрет, что промышленный электрический ток иногда имеет пиковые всплески, которые могут вывести из строя клиентское оборудование. Поэтому в дата-центре имеется специальная «электрическая комната», где эти выбросы устраняются. В результате получается электрический ток частотой 50 Герц, имеющий форму «чистой» синусоиды, без выбросов и пиков. Электрораспределительное оборудование постоянно контролирует девять параметров качества тока.

Резервирование электроснабжения ЦОД организовано на уровне 2N: как уже говорилось, к дата-центру подходят два независимых луча электропитания. Повреждение одного маршрута прокладки не повлечет за собой остановки дата-центра или его части, так как всегда имеется резервный маршрут.

Так выглядят входящие линии с подстанций электропитания на одном из маршрутов прокладки.

09fcd07636f1fe319c04fe40483ec800.png

Ввод электропитания от трансформаторной подстанции

Вот ещё небольшой штрих к теме электрической и пожарной безопасности. Электропроводка от выключателей проложена в металлических трубах, чтобы при возможном коротком замыкании не летели искры наружу.

d05ae83a4cea1d6547919eb827b404a7.png

Выключатели для ламп освещения с проводкой в металлических трубах

Все кабели электропитания проходят под фальшполом высотой 1 м. Под фальшполом в стойки с оборудованием подаётся холодный воздух с заданной влажностью в полном соответствии с международным стандартом ASHRAE.

На ячейках с клиентским оборудованием установлены датчики температуры и влажности, которые не только визуально отображают эти параметры, но и регулярно передают их в централизованную систему управления инженерной инфраструктурой дата-центра.

9d4f5f352dae2393951ebb9c67754e9d.png

Датчик температуры и влажности

Для питания каждой стойки под фальшполом есть две розетки — каждая от отдельной линии ввода с разных электроподстанций. Для ещё большей надёжности они проложены в отдельных желобах.

d7a6ed5d88813fcf4222622c5d658906.png

Две розетки питания стойки (сквозь решётку фальшпола)

Некоторые клиенты для повышения безопасности также устанавливают собственные видеокамеры в свои ячейки с оборудованием.

В дата-центре имеются «телеком-зоны», где установлено оборудование 44 операторов связи, включая Orange, Sprint, Beeline, MegaFon, MTS, Telia, других операторов и Интернет-провайдеров, а также узел MSK-IX и платформа обмена трафиком Eurasia Peering IX, объединяющий 38 операторов-резидентов.

15a59c179c7d6feb32a2c9a9e37169b5.png


В дата-центр для установки принимается клиентское оборудование любого размера и функционала, даже ленточные накопители.

Один из наших клиентов — телеканал с многомиллионной аудиторией — осуществляет здесь резервирование для вещания в HD.

Пожарная безопасность


Способность быстро и эффективно потушить возгорание, а лучше вообще его не допускать — одна из важнейших характеристик любого дата-центра.

В IXcellerate применена трёхуровневая система обнаружения и тушения пожара. Первый уровень — система сверхраннего обнаружения задымления Vesda, реагирующая на изменение плотности воздуха и количества примесей и пыли всего на 0,01%. Самообучающаяся система с элементами искусственного интеллекта держит в памяти определённую матрицу параметров воздуха. Такая система может распознать задымление на самой ранней стадии, а также определить сектор, где произошло изменение параметров.

Apollo — интегрированная система пожарной сигнализации и системы оповещения — следующая ступень в пожарной безопасности ЦОД.

Но гордость IXcellerate — автоматическая система пожаротушения HI-FOG, которая способна локализовать возгорания на площади 4×4 кв. м (с возможностью нахождения персонала непосредственно в машзале и без воздействия и последствий для других участков). Для этого в системе HI-FOG применены водные распылители (спринклеры), находящиеся под постоянным давлением и размещаемые над каждым локальным периметром 4×4 м.

Важно отметить, что в HI-FOG используется система сухотрубов, т. е. используемое в штатном режиме вещество для тушения огня — дистиллированная вода — хранится в цистерне, которая размещается в пожарно-насосной станции.

489464b54f724fd0788e55f3f333f7c7.png

Один из спринклеров

В спринклере находится  шарик с эфирным веществом, который лопается при температуре 57о С, после чего автоматически запускается система пожаротушения.

Система HI-FOG создаёт мелкодисперсный туман, который закрывает зону возгорания, вытесняет из неё кислород и снижает температуру. То есть система позволяет устранить две причины пожара их трёх возможных. Третья теоретически возможная причина пожара — наличие горючего материала. Однако уже упомянутые сэндвич-панели, которыми облицованы как внешние, так внутренние стены, а также плиты фальшпола в зале выполнены из негорючего материала. Эти панели могут обеспечить до 90 минут огнеупорной защиты. Кроме того, в дата-центре используются только малодымные кабели.

Система HI-FOG, пожалуй, оптимальна для применения в дата-центре, поскольку обеспечивает локальное тушение, а не заливает газовой пеной весь зал, нанося ущерб оборудованию, не охваченному пожаром. Кроме того, ее использование не требует обязательной эвакуации людей.

Сертификат FM Approved, выданный международным лидером в сфере независимых испытаний, позволяет использовать технологию HI-FOG также в энергетической отрасли, на перерабатывающих и обрабатывающих промышленных предприятиях, а также подводных лодках и на круизных лайнерах.

32c1c56b272d016f75d52a0d0381708a.png

Пожарная станция

Цистерна с дистиллированной водой (синего цвета, видна сзади на фото) рассчитана на тушение всей площади дата-центра. Такая же система работает в московском метрополитене и Большом театре.

Пульт управления и мониторинга


На пульте управления и мониторинга в режиме 24×7 находятся дежурные, наблюдающие за работой инженерных систем и ведущие приём заявок от клиентов. Система видеонаблюдения позволяет быстро переходить от отображения общей схемы дата-центра к изображениям отдельных залов, ячеек, коридоров и стоек оборудования, компонентов системы пожаротушения (включая спринклеры), электропитания, климатики.

Стандартный договор SLA предусматривает, что первый ответ на заявку о техподдержке должен быть дан в течение 30 минут. Однако в дата-центре фактическое время обратной связи клиенту не превышает шести минут, согласно статистике портала Zendesk, который используется для регистрации обращений.

Поддержка осуществляется на русском, английском и на китайском языках.

4dcd442c403dc9de32575ad1cba505a5.png

Пульт системы управления и мониторинга

За всё время работы дата-центра с момента его запуска в 2013 году не было ни одного простоя (даунтайма), ни одного нарушения SLA.

Дата-центр и его слаженная команда оставляет впечатление живого организма.

Внутри ЦОДа даже есть место музыке: когда переходишь по коридору из одного зала в другой, нельзя не заметить аппаратуру для рок-бэнда, в котором когда-то играл Клифф Гаунтлетт и который выступает на корпоративных мероприятиях и обязательном ежегодном open air фестивале IXcellerate — Rockin«Russia.

a8bded5844850fe2d79480d8146124c4.png

Коридор между залами дата-центра

IXсellerate планирует строительство новых площадок, в дополнение к Moscow One появятся ЦОДы Moscow Two, Moscow Three и т.д.

Наша компания «Онланта» начинала сотрудничество с IXcellerate с двух стоек для реализации амбициозного на тот момент проекта по созданию геораспределенного кластера. Тогда ни у кого на российском рынке подобного решения не было. Каналы темной оптики нам стоили космических денег по сравнению с прибылью от услуг, которые мы предоставляли. Отдельную услугу по катастрофоустойчивому облаку у нас так никто и не купил, поэтому мы просто стали развивать своё облако сразу на двух площадках. Потом появилась третья, так как стало очевидно, что нельзя обеспечить полноценную отказоустойчивость и балансировку нагрузки без отдельного «свидетеля», который бы не был привязан к одной из двух площадок. Но объективно можно сказать, что из всех трёх площадок IXcellerate является лучшей — как по организации сервиса, так и в целом по адекватности менеджмента.

Делитесь и вы, что вы больше всего цените в своем дата-центре и, наоборот, что вас больше всего раздражает?

А может быть, вы хотите с нами работать?

© Habrahabr.ru