Дата-центры высшего уровня: отвечаем на часто задаваемые вопросы про Tier IV

Неделю назад мы рассказали о планах строительства нового дата-центра Tier IV и сразу получили несколько вопросов про этот уровень в классификации Uptime Institute. Из обсуждений в чатах получился полноценный FAQ. Так что сегодня развею самые живучие слухи про Tier IV и немного расскажу, какие требования Uptime Institute мы учитываем в проекте нового дата-центра. 

fr8l17gjcdpl3hrmrlbwbg4y2cy.png

Что значит «максимально возможный уровень», придумали что-то новенькое?


Стандартам от Uptime Institute уже больше 25 лет. Столько времени существует  система классификации Tier. 

Сертификация дата-центров на уровни Tier проходит по нескольким программам:

  • Сертификация проектной документации (Design Documents) —  аудиторы проверяют пакет проектных документов по основным инженерным системам: кондиционирование, энергоснабжение. Также изучают документы по смежным системам, например, топливоснабжению. 
  • Сертификация построенного ЦОД (Constructed Facility) — здесь смотрят на соответствие построенного дата-центра сертифицированному проекту и проверяют инженерные системы при полной проектной нагрузке. Когда клиентского ИТ-оборудования еще нет, нагрузку имитируем тепловыми пушками.

    Этот уровень сдают только после Design. 

  • Сертификация эксплуатационной устойчивости (Operational Sustainability) — тут идет комплексная оценка эксплуатационных практик. Как именно это происходит, мы уже подробно рассказывали.

    Для сертификации по этой программе нужно сначала сдать Design и Facility. 


Еще есть программа Management&Operations для проверки эксплуатации. Но это не сертификация, а аудит дата-центра, так что подробно останавливаться не будем. 

Уровень дата-центра закладывается еще на этапе концепции и проектирования. Поэтому мы начинаем готовиться к сертификации на Tier IV на этапе проектирования здания, еще до проектирования инженерных систем.

Почему мы так много говорим про стандарты Tier?

Система Tier содержит список требований к дата-центрам разных уровней. Но там нет конкретных объяснений, как это сделать, только требования к надежности инфраструктуры. Uptime Institute пишет:  

«стандарты Tiers приветствуют инновационные инженерные решения и признают, что все центры обработки данных непохожи друг на друга»


А значит, есть несколько вариантов, как соблюсти требования. 

Мы в DataLine занимаемся практической стороной: честно смотрим на лучшие европейские ЦОДы, берем лучшие практики, с осторожностью пробуем новое и применяем это в проектировании своих дата-центров. Делимся опытом, в том числе в наших Университетах. 

Вот такой опыт сертификации по стандартам Uptime Institute у нас накопился:

  • 2014 год — прошли аудит Management&Operations. 
  • 2015 год — дата-центр NORD-4 получил сертификат Design.
  • 2016 год — сертифицировали NORD-4 на Facility.
  • 2018 год — у NORD-4 появился сертификат Operational Sustainability.
  • 2020 год — NORD-4 подтвердил сертификат Operational Sustainability.


Что дальше:

  • 2020 год — совместно с «Ростелеком-ЦОД» начали строительство дата-центра в Остаповском проезде и его подготовку  к сертификации на Tier IV.
  • 2020 год — во втором полугодии планируем сдать в Uptime Institute проект NORD-5.
  • 2021 год — планируем сертифицировать NORD-5 на Tier III по программе Facility.


Так что в практике применения стандартов всегда есть что обсудить, будем рады поговорить в нашей Салатовой телеге. 

В чем основное отличие уровней?


Я уже немного рассказывал про схемы резервирования, характерные для разных Tier. 

Посмотрим на сравнительную таблицу в стандарте:

mh2v7_gpbifkv5kxcuiswrl2d3q.png

Вот так уровни отличаются по минимальному числу активных компонентов, поддерживающих нагрузку (их обозначают той самой буквой N):

  • Tier I — используется N — минимальное количество оборудования для работы ЦОД, то есть резерва нет.
  • Tier II — инженерное оборудование резервируется по схеме N+1.
  • Tier III — по схеме N+1 резервируется инженерное оборудование и пути дистрибуции: кабели питания, трассы, трубопроводы. 
  • Tier IV — если случается единичный отказ любого оборудования, все равно остается N активных компонентов. 


Но дело не только в «энках», особенно в случае с Tier IV. Главное отличие Tier IV — это единственный уровень с отказоустойчивостью. Он так и называется: Fault tolerant infrastructure. Также для него обязательны секционирование (или компартментализация, очень уж мне нравится это слово) и непрерывное охлаждение. Ниже посмотрим, что это значит.

Tier IV отличается от Tier III схемой резервирования оборудования 2(N+1)?


Как мы видим, никакая конкретная схема резервирования для Tier IV не указана. Как добиться N после любого отказа, каждый ЦОД решает сам. Раньше многие понимали требования Tier IV слишком буквально и предлагали сложные схемы наподобие 2N+1 или 2(N+1), чтобы уж наверняка избежать отказов. Но на практике это не обязательно. 

Что такое отказоустойчивость в Tier IV? Чем отличается от Tier III?

В дата-центре Tier III мы допускаем ситуации отказа, где сотрудники должны вмешаться и переключиться вручную между резервными элементами.

В Tier IV такие переключения отсутствуют или происходят автоматически. 

Что такое непрерывное охлаждение в Tier IV?


Tier III формально допускает несильное повышение температуры в машзале, когда происходит отказ оборудования и мы переключаемся между основным и резервным кондиционером или чиллером.

В Tier IV за этим следят гораздо жестче. Уже на этапе проектирования нужно обязательно предоставить расчеты скорости повышения температуры и доказать, что даже теоретически в машзале не станет жарче. 

Что значит «в Tier IV системы не только зарезервированы, но и защищены от физического воздействия»? В чем отличие от Tier III?


На четвертом уровне должно быть обязательное «секционирование», или «компартментализация» путей дистрибуции. Для выполнения этого требования дата-центру нужно продумать такую схему, чтобы пути дистрибуции проходили в разных помещениях или в закрытых огнезащищенных коробах. Встречаться они будут только в машинном зале. При этом должна оставаться возможность их обслуживания и замены. 

Если мы выполним это требование, то физическое воздействие нам не страшно: даже если молоток упадет на кабель, у нас в отдельном месте сохранятся все пути дистрибуции к оборудованию. 

А если случится пожар?  


Все инженерное оборудование и все трассы у нас расположены в отдельных помещениях или защищенных коробах. Значит, при возгорании одной трассы теряется только резерв, без нарушения работы ИТ-оборудования.

А если упадет метеорит?


Наша страна настолько сурова, что иногда случается и такое. Но все-таки ЦОД — не военный объект, чтобы защищаться от подобных аварий. Очень жаль, но система Tier не рассматривает защиту от всемирного потопа, вторжения инопланетян или захвата власти рептилоидами. 

Tier IV — это в 2 раза дороже?


Да, где-то может получиться и дороже. Но при должном подходе можно сэкономить без потери качества. 

Для нас это первый опыт с Tier IV. Немного страшно, но мы движемся в этом направлении. Как только появятся новости, будем рады рассказать подробнее. 

© Habrahabr.ru