Место, где начинался российский интернет
С недавних пор компания RUVDS предлагает своим клиентам виртуальные серверы (VPS/VDS), размещенные в дата-центре на базе одного из крупнейших узлов связи — ММТС-9. Мы заключили договор на размещение серверного и телекоммуникационного оборудования на площадке ММТС-9 (М9) «Ростелекома» — хороший повод, чтобы немного рассказать вам об этой легендарной площадке, история которой неразрывно связана с историей российского интернета. В настоящее время на ней базируется уже порядка 200 VPS, развёрнутых клиентами RUVDS для решения самых разных задач.
ММТС-9 — современная технологическая площадка, построенная в соответствии с мировыми стандартами: её характеризуют современная инженерная и телекоммуникационная инфраструктура, высокий уровень безопасности и отказоустойчивости.
Сегодня «ММТС-9» — MSK-IX (M9-IX, Московский Internet Exchange) — крупнейшая в России точка обмена интернет-трафиком (IX), расположенная в Москве. Кстати, это шестая крупнейшая IX в мире. На площадке присутствуют все значимые операторы связи и узлы обмена трафиком. Связность сетей обеспечивается на очень высоком уровне.
Дата-центр RUCLOUD компании RUVDS соединен с магистральным узлом связи в дата-центре М9 прямым каналом с пропускной способностью 10 Гбит/с. Это позволяет гарантировать клиентам высокую скорость обмена трафиком между виртуальными серверами, расположенных в разных дата-центрах. Им предоставляется также круглосуточная поддержка в режиме 24/7, виртуальные серверы размещаются на оборудовании корпоративного класса с показателем бесперебойной работы 99,98%. Плюс к этому — включенная в стоимость лицензия Windows и страховка от AIG.
Система распределенных ЦОД RUVDS включает также в себя две российских и две зарубежных площадки.
RUCLOUD (Москва 01) — собственный дата-центр компании RUVDS в бомбоубежище в Москве. Он спроектирован в соответствии с категорией надежности TIER III согласно стандарту TIA-942 (резервирование N+1 с уровнем отказоустойчивости 99,98%), аттестован в соответствии с требованиями ФСТЭК России, обладает уникальной системой защиты от затопления. Москва 02 — арендуемые стойки в М9. Система распределенных ЦОД включает также две зарубежных площадки.
Что же представляет собой ЦОД М9?
Из истории «девятки»
История ММТС-9, крупнейшей в Москве технологической площадки взаимодействия российских и международных операторов связи, насчитывает более двух десятков лет. В далеком уже 1995 году основные московские провайдеры создали на базе Московской междугородной телефонной станции № 9, основным акционером которой годом ранее стал «Ростелеком», точку взаимного обмена IP-трафиком. Там было размещено оборудование основных интернет-провайдеров, имелись международные и междугородные каналы связи.
Провайдеры хотели обмениваться своим трафиком друг с другом напрямую, оптимизируя маршруты его пропуска, что существенно сокращало время передачи данных и загрузку дорогостоящих международных каналов связи. Координация MSK-IX была поручена Российскому НИИ развития общественных сетей (РосНИИРОС).
Сегодня АО «ММТС-9» — крупнейшая пиринговая точка в России, в числе ее клиентов более 500 телекоммуникационных компаний.
Несмотря на солидную историю, созданный на базе ММТС-9 ЦОД М9 имеет вполне современное техническое оснащение, включая инженерную инфраструктуру, структурированную кабельную систему (соединительные линии FO/UTP5/UTP6 по залу и по MМТС-9), системы бесперебойного электропитания, климатические системы, системы газового пожаротушения, мониторинга и видеонаблюдения.
В 2002 была проведена «телекоммуникационная» модернизация MSK-IX. Площадка стала распределенной, объединив 10 точек, соединенных волоконно-оптическим кабелем (Gigabit Ethernet). В 2013 году были обновлены и модернизированы технологические площади ММТС-9. Машинный зал стал полноценным дата-центром высокого уровня надежности. К 2015 году площадь ЦОД на 1500 стоек (до 47U, 600×1070 мм) составила 6900 кв. м, подведенная электрическая мощность — 6,5 МВт.
На текущий момент М9 — одна из самых крупных в Москве нейтральных площадок с оборудованием высокого уровня сложности.
В здании станции размещается телекоммуникационное оборудование с энергопотреблением 5,5–6 кВт на стойку, однако есть и высоконагруженные стойки с энергопотреблением до 24 кВт. Арендующим площади в ЦОД клиентам предоставляется возможность создания индивидуальной гермозоны.
После подведения дополнительных электрических мощностей 8,8 МВт энергообеспечение ММТС-9 достигло 15,3 МВт.
Создана единая диспетчерская, в которую стекается информация о работе всех систем дата-центра для мониторинга работы сетевого и ИТ-оборудования, систем бесперебойного электроснабжения, охлаждения, кондиционирования, пожаротушения, безопасности и управления доступом.
Энергопотребление высоконагруженных стоек достигает 24 кВт.
Сегодня московский Internet Exchange представляет собой надежную, распределенную систему, включающую десять равноправных точек, объединенных высокоскоростной магистралью. Благодаря распределенной структуре MSK-IX существенно расширяются возможности подключения провайдеров к системе обмена IP-трафиком и высокоскоростного транзита между узлами MSK-IX. Создание ЦОД в таком месте как ММТС-9 позволило обеспечить простоту и удобство взаимодействия операторов и других владельцев интернет-сетей.
Партнерами и клиентами М9 являются крупнейшие компании, включая МТС, «Вымпелком», «Мегафон», ТТК, Orange Business Services и др. Площадка предоставляет платформу для обмена IP-трафиком между сетями и распределенную сеть DNS-серверов для поддержки корневых доменных зон. К ней подключены операторы связи, социальные сети, поисковые системы, видеопорталы, провайдеры облачных сервисов, корпоративные и научно-образовательные сети. Через М9 проходит большинство телекоммуникационных каналов, соединяющих Россию с миром, к площадке подключено более 80% российского интернета.
Технические данные ММТС-9 (М9):
- Общая площадь здания — 40 938 м²
- Площадь прилегающей территории — 12 500 м²
- Площадь машинных залов — 7 684 м²
- 11 машинных залов суммарной площадью 20744 м²
- Общее количество стойко-мест, введенных в эксплуатацию, — 1 736
- Количество стоек, размещенных/арендованных клиентами, — 1 428
- Габариты серверных стоек — 800×600x42U, 600×1000x47U
- Энергоснабжение от 4-х независимых энерговводов
- Подведенная мощность — 15,3 МВт с резервированием
- Мощность систем охлаждения — 8 МВт с резервированием
- Пожаротушение газами ХЛОДОН и 3MNOVEC
- Охрана периметра и помещений в режиме 24/7/365
- Система контроля доступа
- Видеонаблюдение
- Круглосуточный персонал, отвечающий за жизнеобеспечение
- На площадке присутствует более 500 операторов связи
- Телекоммуникационное оборудование — Cisco Systems и Juniper Networks
- Пропускная способность каналов — более 150 Гбит/с
- Все технологические помещения М9 защищены автоматическими центральными или модульными установками газового пожаротушения
- Доступность сервиса — 99,982%
Чтобы ближе познакомиться с этой знаменитой площадкой, совершим в заключение небольшую экскурсию по дата-центру М9.
Экскурсия по ЦОД
Здание станции М9 оснащено по всем стандартам инженерной инфраструктуры. Система энергообеспечения дата-центра обеспечивает 15.3 МВт мощности и включает в себя пять дизель-генераторных установок. Электропитание оборудования дата-центра осуществляется по 1 категории надежности, что предусматривает использование двух- и трехлучевых АВР (автомат ввода резерва).
«ММТС-9» — специализированное здание для размещения объектов связи. Площадь помещений составляет 41 тыс. кв. м. Подведенная мощность — 15,3 МВт. В ЦОД — резервированное охлаждение и стабильный климат. Температура поддерживается на уровне 23–26°C, влажность — 35–60%.
Практически все машинные залы оснащены электроустановками с постоянным током. ЭПУ 48/60 В с аккумуляторными батареями обеспечивают бесперебойную работу серверов в режиме автономности до 1 часа. Для этого применяются ИБП или блоки с питанием постоянного тока.
Мощность охлаждения М9 составляет 11,2 МВт. Система охлаждения ЦОД использует кольцевую схему резервирования. Каждый машинный зал оборудован системой непрерывного контроля температуры воздуха, а также измерительными приборами для замера температуры и влажности в залах, в отдельных стойках клиентов.
В ЦОД расположены холодильные машины GEOСLIMA, использующие водяное охлаждение, сухие градирни, центральные кондиционеры, прецизионные кондиционеры HIREF, HIRROSS, ALCO, APC, UNIFLAIR. Центральные кондиционеры имеют производительность по охлаждению 2,3 МВт, остальная нагрузка снимается с помощью шкафных кондиционеров.
Охлаждение обеспечивают пять холодильных машин с водяным охлаждением от EVAPCO, 4 сухих градирни, 13 центральных кондиционеров, 100 прецизионных кондиционеров. Холодильные машины установлены на 2-х уровнях — в подвальном помещении и на верхних этажах здания. Благодаря резервированию N+1 в случае отказа любого из элементов систем возможно его отключение без остановки всей системы в целом.
Температура и влажность контролируются через систему управления зданием, а для мониторинга используются датчики во всех доступных зонах. В каждом машинном зале ведется непрерывный контроль ТВР с использованием автоматизированной системы контроля, а также измерительных приборов учета температуры и влажности как на уровне зала в целом, так и на уровне отдельных стоек клиентов.
Сигналы о состоянии «климата» машинных залов передаются в единую круглосуточную диспетчерскую службу, которая в случае отклонения от нормы сразу принимает меры.
Доступ в клиентские гермозоны возможен только с помощью прокси-карт стандарта HID. Терминалы доступа находятся во всех помещениях с важным оборудованием, в коридорах с серверами, в служебных помещениях, на входах в ЦОД.
Во всех технологических помещениях М9 предусмотрены центральные или модульные установки газового пожаротушения. В дата-центре имеется два вида систем газового пожаротушения: центральные и локальные по зонам. Локальная система пожаротушения использует огнетушащие вещества Хладон и 3M Novec. Весь дата-центр оборудован пожарной сигнализацией, есть система противодымной вентиляции.
В дата-центре применяется газовая система пожаротушения с ранним обнаружением. Используются адресные датчики. Также установлены ручные углекислотные огнетушители.
Система видеонаблюдения включает в себя видеокамеры с датчиками движения и возможностью цифровой записи которые хранятся до 60 дней. Она позволяет контролировать все внешние и внутренние структуры дата-центра. В центре управления установлена круглосуточная система контроля всех систем безопасности ЦОД.
Система охранной сигнализации состоит из более сотни устройств и свыше пятидесяти терминалов управления доступом.
Политика доступа в дата-центр с трехуровневой системой безопасности действует круглосуточно и без выходных. Для прохода в дата-центр оформляются документы и регистрируются все посещения. Территория постоянно находится под круглосуточным видеонаблюдением и наблюдением сотрудников охраны, а записи с камер архивируются. Возможно выделение и ограждение клеткой участка машинного зала, для обеспечения максимальной безопасности.
Стабилизированное бесперебойное электропитание обеспечивают четыре независимых энерговвода, источники бесперебойного питания и ДУ. Питание подается на каждую стойку по двум независимым лучам.
Высокотехнологичная инженерная инфраструктура обеспечивает бесперебойное функционирование серверного и телекоммуникационного оборудования.
На текущий момент М9 — одна из самых крупных в Москве нейтральных площадок с оборудованием высокого уровня сложности. ЦОД постоянно работает над модернизацией своей площадки, что помогает повысить качество предоставляемых услуг. Современная инфраструктура дает возможность М9 обеспечить условия для качественной работы серверного оборудования провайдеров, что в свою очередь, дает возможность провайдерам предоставлять качественные услуги своим клиентам.
