Мирная профессия бомбоубежища

В пику военной истерии и эскалации международной напряженности последних месяцев хочется рассказать об одном из примеров вполне мирного, созидательного и полезного использования бывшего оборонного объекта.

89951c1b16074055a337fac121c68ff6.jpg

Сегодня многие компании, не желая принимать на себя затраты на покупку и обслуживание физических серверов, выбирают виртуальные площадки. Воспользовавшись услугами хостинг-провайдера, можно создать качественный интернет-портал, доступ к которому будет одинаково хорошим из Москвы и Владивостока. И при этом технической поддержкой будет заниматься команда провайдера — остается подумать лишь о наполнении.

RUVDS — довольно молодой, но активно развивающийся хостинг-провайдер с собственным дата-центром уровня TIER III, расположенным в Москве. Вот в нем мы и побываем. Но сначала — немного из истории этого ЦОД.

В 2015 году компания RUVDS приняла решение о строительстве собственного дата-центра. Она достаточно долго искала площадку, которая могла бы удовлетворить запросы энергообеспеченности и связи, а также общей надежности, и остановились на площадке одного из стратегических заводов нашей страны, который сумел предложить наилучшие условия. Принимая во внимание, что в дата-центре важна, в первую очередь, надежность, RUVDS пригласила к сотрудничеству очень опытную команду из компании MTW.RU. Ее специалисты оказали неоценимую помощь в строительстве дата-центра. В итоге это позволило построить ЦОД в максимально сжатые сроки при высоком качестве, учитывая многолетний опыт MTW.RU.

b56bf3073ed3b47200daf94e7e8eefe9.jpg

Помещение дата-центра находится на территории стратегического предприятия — АО «Композит», в бомбоубежище. Данный объект интересен еще и тем, что представляет собой комплекс из нескольких независимых залов (гермозон), помещения которых герметичны.Это повышает отказоустойчивость ЦОД, а также позволяет более гибко подходить к реализации индивидуальных запросов заказчиков в отношении безопасности и надежности.

Так что сегодня в распоряжении RUVDS — собственный дата-центр, который компания эксплуатирует по договору долгосрочной аренды, расположенный по адресу: Московская область, Королёв, ул. Пионерская, д. 4 на территории ведущего материаловедческого предприятия Федерального космического агентства АО «Композит». Помещения дата-центра аттестованы в соответствии с требованиями ФСТЭК, проектировались в соответствии категорией надежности TIER III, согласно стандарту TIA-942 (резервирование N+1 с уровнем отказоустойчивости 99,98%).

Площадь дата-центра — порядка 1500 кв.м. Часть её занимают операторская, бытовые помещения, дизель-генераторы и прочие системы. Имеющиеся резервы позволяют оперативно увеличить площадь ЦОД и подаваемую мощность электропитания как минимум вдвое. Среднее энергопотребление на стойку сейчас составляет примерно 15 кВт/час.

Высокий уровень отказоустойчивости ЦОД обеспечивается тремя независимыми каналами подключения к магистральным узлам связи ММТС-9 и ММТС-10, что позволяет гарантировать высоконадежный скоростной доступ в интернет со средним пингом по Москве до 3 мс и пропускной способностью до 30 Гбит/с, системой защиты от DDoS на базе решения Cisco Guard, резервируемыми системами охлаждения, двумя независимыми линиями электропитания по 0,5 МВт, что соответствует энергообеспечению 1 категории и позволяет осуществлять переключение между вводами менее чем за одну секунду, системой бесперебойного питания на базе решения APC, а также двумя резервными дизель-генераторами и системами автоматического запуска, способными обеспечить автономную работу ЦОД в течении 24 часов.

c0d5984509a41c601f2514bd5293d5fa.jpg

RUVDS известна первоклассным техническим оборудованием ЦОД — именно оно позволяет предоставлять клиентам быстрые и надежные виртуальные машины для размещения VDS/VPS-серверов. В работе своих серверов RUVDS использует SSD-накопители корпоративного класса, а для достижения максимальной скорости передачи данных они объединяются в RAID-массивы. Таким образом, клиенты RUVDS могут рассчитывать на скорость до 100 тысяч IOPS, а старт VDS Windows происходит за несколько секунд.

791a055ca97d8bb696d2f590389ce82c.jpg

Сетевая инфраструктура ЦОД в соответствии с классической архитектурой имеет три уровня (ядро, агрегирование и доступ). Уровень доступа реализуется путем установки коммутатора в каждую стойку (Top of the Rack, ToR) или одного коммутатора на несколько стоек (Middle of the Row, MoR). Коммутаторы уровня агрегирования и ядра зарезервированы. Используется в основном сетевое оборудование Cisco.

На базе продукта этого производителя (Cisco Guard) реализована и система защиты от атак DDoS. Она имеет пропускную способность более 1 млн пакетов в секунду с возможностью оперативного наращивания мощности.

Волоконно-оптические линии связи разные маршруты прокладки до основных точек обмена трафиком.

В ЦОД организована система резервирования N+1. В дата-центр заведено три физических линии связи с пропускной способностью в 10 Гбит/с каждая с выходом на магистральные узлы связи М-9, М-10. На эти физические каналы заведено более 15 интернет-провайдеров. Это позволяет гарантировать клиентам высокую скорость VDS: не ниже 250 Мбит/сек.

e99b6f01ec617a9549b88831024e8609.jpg

Новейшее оборудование от лидеров в своих областях — Intel, Cisco, Supermicro — позволяет хостингу называться надёжным и отказоустойчивым.

aed7456959c737f9b1b9edb05d3154da.jpg

С марта 2016 года RUVDS стала партнером Huawei, что позволило ей выйти на новый уровень работы. В дата-центре RUVDS приступили к развертыванию новейших платформ виртуализации китайского вендора.

Решения компании Huawei используются операторами связи и крупными корпорациями по всему миру уже более двух десятков лет. Сотрудничество с российским хостинг-провайдером отвечает стратегии Huawei — выходу на широкий российский рынок.

868a4f51477066e2d55c7272286e4fa2.jpg

Каждая стойка содержит до 42 серверов, а каждый сервер с оперативной памятью до 400 Гбайт и подсистемой хранения данных емкостью до 7 Тбайт обслуживает до 100 клиентов.

d343a405c475dcd4074d9d8ea555396b.jpg

Система бесперебойного гарантированного электропитания построена по классической схеме. Энергоснабжение ЦОД обеспечивают две подстанции, которые питают дата-центр по двум независимым линиям. На объекте установлен комплекс ИБП и ДГУ (схема резервирования — N+1).

Каждый физический сервер подключен к источнику бесперебойного питания. Если эти составляющие вдруг не справятся, то в работу включатся дизель-генераторы, которые обеспечат дата-центр электричеством до решения проблем с подстанцией.

27628b64e213dabd185a0b2fe0c4bc77.jpg

Автомат ввода резерва обеспечивает резервирование, переключение между подстанциями, дизель-генератором. Он оперативно переводит нагрузку на дизель-генератор после отключения внешнего (городского) напряжения.

86bdf86f1814b7d842aebd05729a1043.jpg

Дизель-генераторная установка и топливное хранилище для ДГУ способны обеспечить автономную работу ЦОД без дополнительной дозаправки в течение суток, а имеющийся договор на оперативную поставку топлива дает возможность еще более увеличить этот срок.

8c06198ed6857eabd50c2b3ddaff6891.jpg

Распределение электропитания организовано по схеме 2N. К каждому шкафу с оборудованием подходят две магистрали — соответственно, серверы с двумя блоками питания могут быть подключены сразу к обеим. Созданная инфраструктура электроснабжения позволяет выделить до 30 кВт на стойку.

89a49a42480473d2424c895fae5c056e.jpg

Каждая гермозона оборудована газовой системой пожаротушения, которая обеспечит бесперебойную работу серверов даже в случае пожара. Площадь одной гермозоны — около 25 кв.м. Система пожаротушения работает на основе газового огнетушащего вещества (хладона) и интегрирована с системой пожарной сигнализации (датчики раннего реагирования и температурные датчики). Для защиты оборудования от воздействий внешней среды и проникновения пыли используется система приточно-вытяжной вентиляции, которая фильтрует подаваемый в гермозону воздух и поддерживает в помещении избыточное давление.

d2b92c687db72f829f97d8eaf9f042c2.jpg

Гермозона представляет собой изолированное помещение, в котором установлена двухконтурная система охлаждения, выделенная система газопожаротушения. В гермозоне установлено два ряда по 10 открытых стоек.

Организация независимых гермозон позволила существенно снизить расходы на систему газового пожаротушения с сохранением высокого уровня надежности. На тушение помещения достаточно одного баллона.

55d2ca531560f2d2c1caca1bf616fef8.jpg

Каждая гермозона оборудована системой видеоконтроля, физическим ограничением доступа. В среднем в гермозоне находится порядк 20 стоек по 42 сервера в каждой.

90370c681182567bcd2b8ce360eff39f.jpg
Ввод питания в гермозону.

f36cb9b0dd39c9e8a30dff51ae6d38ea.jpg

Все гермозоны и служебные помещения находятся под видеонаблюдением. Система видеонаблюдения установлена также по всем периметрам доступа.
Всего таких периметров четыре. Первый — закрытая, круглосуточно охраняемая ФГУП МВД России и контролируемая по доступу территория, на которой находится ЦОД. Второй — контролируемая ЧОП территория самого ЦОД. Третий — в ЦОД. Четвертый — контролируемый вход в каждую гермозону по магнитной карте.

b021b6533b304b6b7251b0c65aeb96b8.jpg

Тремя независимыми системами охлаждения (водяное, воздушное и притяжно-вентиляционное с системой воздухоотчистки) и системой обеспечения влажности гермозон на уровне 40–50%.

ef7fb6c17c29620051b2b723f10a68de.jpg

aba6bcc17151e94666eb1cac25a63f25.jpg
Часть воздуховода и воздушного насоса.

0e9c3432e5ceb966e53f34bd1bfd0878.jpg

В рамках сотрудничества с Huawei запланирован переход к новой системе охлаждения — жидкостной взамен традиционной воздушной. Пока что эта технология является довольно новой, по крайней мере для России. Но несмотря на то, что ее внедрение потребует определенного переоборудования, именно жидкостное охлаждение позволит максимально оптимизировать работу ЦОД и практически исключить возникновение проблем, связанных с перегревом серверов.

eaaacbba93dfc24a844374e62ced2388.jpg
ЦОД растет, недавно была введена в эксплуатацию новая гермозона. На фото первая стойка в новом модуле.

В дата-центре RUVDS также организована система защиты от затоплений и наводнений — периметры ЦОД усиленно гидроизолированы, а в самом дата-центре установлена система гидронасосов с резервированием N+1 с датчиками затопления, плюс установлены двойные крыши со специальной системой стоков.

В ЦОД находится круглосуточная работа дежурных-специалистов технической поддержки. Техподдержка работает 24 часа в сутки, семь дней в неделю. Мониторинг серверов и инфраструктуры осуществляется в ручном и автоматическом режиме под контролем сотрудников. Регулярно проводится тестирование системы энергообеспечения.

ЦОД RUVDS пользуется популярностью среди крупных корпораций — в частности, таких, как «Компания БКС» и АО «ФИНАМ» и еще целого ряда коммерческих структур. Виртуальные серверы от RUVDS использует и «Коворкинг 14» — недавно запущенный социально-ориентированный проект. Высокотехнологичное оборудование хостинг-провайдера позволяет оказывать разнообразные услуги.

Комментарии (1)

  • 19 октября 2016 в 15:03

    0

    Идеальная КДПВ! Извините за оффтоп)

© Habrahabr.ru