ЦОД для Чемпионата мира06.07.2017 12:36

Уже менее года осталось до Чемпионата мира по футболу-2018 — великолепного футбольного праздника, который ожидается следующим летом в нескольких городах России. Подготовка к столь масштабному действу, транслируемому по всему миру, предусматривает развертывание мощнейшей IT-инфраструктуры. Всего в создание IT-инфраструктуры к чемпионату мира будет вложено порядка 11 миллиардов рублей. Построением телекоммуникационной инфраструктуры займется «Мегафон», которому выделено на эти цели 4,25 миллиарда рублей.
Стадионы уже во всю готовятся к приезду гостей, а некоторые прошли обкатку на минувшем Кубке конфедераций. Для сравнения «Мегафон» на минувшем турнире:

задействовал 11 тыс. км волоконно-оптических линий связи (ВОЛС);
установил более 1,5 тыс. антенн на стадионах;
организовал радиопокрытие на более чем 80 объектах проведения, из которых 60 были модернизированы и обеспечены indoor покрытием. К ним относятся: стадионы, гостиницы, операционные центры, тренировочные площадки, места продажи билетов, стойки FIFA в аэропортах и на транспортных станциях;
предоставил на всех объектах мероприятия каналы связи, услуги мобильной передачи данных, телефонной связи;
развернул гео-разнесенную DWDM-сеть с независимыми друг от друга элементами, которая позволила обеспечить качественное ТВ-вещание со стадионов до Международного вещательного центра в Санкт-Петербурге;
троекратно зарезервировал сеть, что гарантировало ее отказоустойчивость и обеспечило постоянный мониторинг созданной инфраструктуры. Для мониторинга своего оборудования, установленного на объектах, использовалось собственное решение Life Control;
организовал ISDN-телефонию, которая позволила комментаторам проводить свои репортажи.

Мы — компания «НАГ» также внесли свою каплю в это море работы. Спроектированный и собранный нашими специалистами контейнерный центр обработки данных, теперь обслуживает один из стадионов минувшего Кубка конфедераций и предстоящего ЧМ-2018. Об этом проекте и хотелось бы рассказать.

Во избежании недоразумений, мы не будем не называть на какой конкретно стадион было поставлено наше оборудование и кто выступал заказчиком. Скажем лишь одно, что ЦОД отлично отработал на прошедшем Кубке конфедераций.

Итак, перед нашими инженерами стояла задача спроектировать мобильный центр обработки данных, который бы соответствовал всем современным требованиям безопасности и жизнеобеспечения, необходимыми для защиты оборудования от сбоев в работе. Кроме того, необходимо было поставить три дизельных генератора, которые смогли бы автономно обеспечивать электроэнергию в ЦОД.

Архитектура

Контейнер центра обработки данных — это конструкция, смонтированная на несущей раме, каркас которой представляет собой стальную цельносварную, жесткую конструкцию из прокатного профиля.

Наружные размеры (Д x Ш x В) 5960×2460 x 3000 мм;
Внутренние размеры (Д x Ш x В) 5660×2160 x 2600 мм;
Полезная площадь 12,23 м²;
Высокие механические нагрузки;
Защита от пожара EI30 согласно EN 1363 как покомпонентное испытание;
Защита от воды и пыли согласно EN 60529;
Степень огнестойкости согласно Федерального закона от 22.07.2008 № 123-ФЗ — II (Сертификат соответствия № C-RU.ПБ12.В. 00203)
Нагрузочная способность перекрытий обеспечивает 1500 кг/м².

Инфраструктура для размещения оборудования в ЦОД

Для размещения оборудования в ЦОД мы использовали 19 дюймовые шкафы MetalBox. Шкафы представляют из себя конструкцию в которую входят: перфорированные металлические двери, роликовые опоры, дверцы, терминалы и кабели заземления, опора с регулировкой горизонтальности, монтажные компоненты, верхняя крышка, боковые панели.

Серверные шкафы установлены на специальные рельсовые системы, которые позволяют легко перемещать их в поперечном направлении, это обеспечивает доступ к оборудованию, как с передней стороны, так и с задней.

Система электроснабжения и бесперебойного питания

Распределение электроэнергии внутри ЦОД осуществляется кабелем с медными токопроводящими жилами с изоляцией из ПВХ пластиката и оболочкой из ПВХ пластиката пониженной горючести противопожарных систем с медными жилами, которые проложены по специальным лоткам.

Введение мощностей ЦОДа до 20 кВт (в объеме 4 стоек, указана суммарная максимальная мощность без учета инженерных систем).
Расчетная мощность: 36 кВт (с учетом инженерных систем);
Напряжение питающей сети: 380 В, 3L + N + PE;
Категория надежности: третья;

Бесперебойное питание в контейнере обеспечивает модульный ИБП SNR-UPS-ONRM-20-HPMSAX33 с возможностью поэтапного увеличения мощности. Он состоит из 3 модулей мощностью 20 кВА, образуя систему с уровнем резервирования N+1.

ИБП (UPS) серии HPM, предназначены для работы с внешними аккумуляторными батареями повышенной емкости, построен по схеме on-line с двойным преобразованием напряжения, при которой нагрузка всегда питается от инвертора, гарантируя при этом стабилизированное и фильтрованное синусоидальное электропитание. ИБП предназначены для защиты рабочих станций, серверов, систем связи, промышленного, телекоммуникационного, банковского, сетевого и др. оборудования.

К ИБП подключена система из 32 аккумуляторов Tesla Power, обеспечивающих 25 минут автономной работы при 100% нагрузке. Батареи Tesla Power предназначены для установки в 19, 23 дюймовые шкафы и стойки, также используются в других случаях, когда необходимо компактное размещение батарей.

Фронтальное расположение клемм облегчает установку и сокращает время на обслуживание и замену батарей. Хорошие характеристики при небольших токах разряда делают эти батареи лучшим выбором для телекоммуникационных систем и других ответственных нагрузок, рассчитанных на длительное время автономии.

Структурированная кабельная система

Для подключения ИТ-оборудования в серверных шкафах используется:

UTP кабель 5е категории производства LANsens.
24 портовые коммутационные панели SNR;
коммутационные шнуры с коннекторами RJ-45 — RJ-45.

Кабели электроснабжения и бесперебойного питания прокладываются по различным кабельным каналам и лоткам.

Для кабелей электроснабжения используется проволочный лоток с креплением к стене поддерживающими консолями.

К серверным шкафам Metal Box подведены гибкие кабель-каналы. Использование гибкого кабельного канала позволяет надежно подвести к шкафам силовой или контрольный кабель без риска его повреждения в ходе движения телекоммуникационного шкафа.

Системы пожаротушения и кондиционирования

В контейнерном ЦОД предусмотрены системы пожаротушения и кондиционирования. Для тушения пожара в защищаемом помещении предусматривается автоматическое заполнение его объема газообразным огнетушащим веществом — Хладон 318Ц. Это наиболее приемлемый вариант для такого рода помещений.

Для кондиционирования контейнера используется три канальных промышленных кондиционера производства General Climate. Холодопроизводительность каждого кондиционера 17.6 кВт. Резервирование N+1. Кондиционеры доработаны зимним комплектом (гарантированная работа до -40 градусов).

Система кондиционирования ЦОД Data Box состоит из трех канальных сплит-систем потребляемой мощностью в режиме охлаждения 7.2 кВт каждый.

Дизель-генераторная станция

В Дополнение к ЦОД были поставлены три дизель-генераторные установки (ДГУ) TPDG80 с ATS (резервной мощностью 80кВА/64кВт). ДГУ при достаточно компактных размерах имеет высокую производительность и стабильные показатели по напряжению и мощности. Двигатель и генератор оснащены виброгасящими креплениями, что снижает шум и вибрации установки.

На стадии производства узлы и агрегаты установки прошли строгий контроль качества и всевозможные испытания.

Основные параметры:

Двигатель Cummins engine 6BT5.9-G1
Генератор Stamford UCI224G
Микропроцессорный модуль управления PLC-920
Главный автоматический выключатель 120А
Регулятор скорости механического типа
Генератор с самовозбуждением
Регулятор напряжения AS440
Разъем для подключения системы АВР
Необслуживаемая свинцово-кислотные аккумуляторные батареи 2×12В/70Ач
Воздушный фильтр сухого типа
Топливный бак емкостью 236 л
Сухой вес 1198 кг
Уровень шума на расстоянии 7 м — 90,8 dBA
Размеры (ШхГхВ) — 2485×883х1495 мм
Мощность в основном режиме работы — 80кВА/64кВт
Мощность в резервном режиме работы — 88кВА/70кВт
Напряжение 380 В

За управление работой двигателя и контроль за основными параметрами и сигнализации ошибок отвечает микропроцессорный модуль. Запуск и остановка двигателя производится с помощью кнопки, предусмотрена блокировка запуска с ключом.

В завершение, фото уже смонитрованных на месте дата-центра и дизель-генераторной установки.