Путь электричества в дата-центре
Работа любого дата-центра держится на «трех китах» — электроснабжении, охлаждении и системах безопасности. А ключевой инфраструктурой среди них, вне сомнения, является система электроснабжения.
Бесперебойная основа
Дата-центр Selectel «Цветочная 2» рассчитан на потребляемую мощность 2500 кВА и соответствует уровню Tier III, согласно которому каналы электропитания и охлаждения продублированы по схеме резервирования 2N. Это дает значительное преимущество в части надежности электроснабжения как клиентам, размещающим свое оборудование, так и службе эксплуатации самого ЦОД — работы по техническому обслуживанию или замене вышедших из строя компонентов могут производиться без отключения электропитания дата-центра (в том числе, оборудования клиентов).
Электричество поступает в дата-центр по двум независимым вводам от городской электросети и подается на две трансформаторные подстанции ТП 10(6)/0,4. Подстанции являются собственностью Selectel и расположены в комплексе зданий, также принадлежащих компании. Это еще один важный для клиентов момент в части надежности инфраструктуры — в России довольно большое число дата-центров расположены на арендованных площадях, а потому зависят от конъюнктуры рынка аренды и даже от настроений собственников.
В трансформаторных подстанциях высокое «городское» напряжение 6 кВ понижается до 380 В (400 В), и далее подается на главные распределительные щиты (ГРЩ) с системой защитной автоматики.
Это электропитание может иметь различного рода помехи (всплески и провалы, высокочастотный шум и др.), а потому не пригодно для чувствительных к помехам серверов и коммуникационного оборудования, а также систем кондиционирования и автоматики самого дата-центра.
Поэтому по шинопроводам электропитание 380 В (400 В) далее подается на 2 группы промышленных ИБП (источников бесперебойного питания), каждая из которых представляет собой модуль 6×400 кВА с функцией двойного преобразования. Здесь переменное напряжение выпрямляется в напряжение постоянного тока, а затем вновь преобразуется в переменное 380 В (400 В), но уже с идеальной формой синусоиды.
Кроме функции очистки от помех, ИБП выполняют и другую важнейшую задачу — обеспечивают электропитание дата-центра от АКБ (аккумуляторных батарей) в случае полного отключения внешнего «городского» электроснабжения на время перехода на аварийный источник электроснабжения — ДГУ (дизель-генераторные установки). Для этих целей ИБП соединены с взаимно резервируемыми матрицами из 130 аккумуляторных 12 В батарей. Заряда этих батарей хватает на период работы дата-центра под полной нагрузкой до 10 минут. При пропадании внешнего электропитания, автоматика АВР (автоматического ввода резерва) запускает в отдельном помещении три ДГУ мощностью 1800 кВА каждая, которые могут обеспечивать электроэнергией дата-центр неограниченно долгое время.
ДГУ имеют резервирование N+1, то есть для нормальной работы ЦОД «Цветочная 2» достаточно двух ДГУ, плюс одна ДГУ — в резерве. На территории дата-центра хранится запас топлива на 48 часов работы ДГУ, а также имеется сервисное соглашение с двумя поставщиками по экстренному подвозу топлива в случае продолжительного городского блэкаута.
В среднем требуется до 3 минут для запуска ДГУ и их выхода на режим рабочей нагрузки — заряда батарей ИБП с запасом хватает на эту операцию. Чтобы обеспечить уверенный запуск дизелей даже в зимнее время, происходит постоянный подогрев охлаждающей жидкости в ДГУ, и этот параметр контролируется как при регулярных обходах, так и удаленно через систему мониторинга.
Вводы внешнего «городского» электропитания и ДГУ подключены параллельно друг другу через АВР и их выходы запитывают вводно-распределительные устройства (2х ВРУ). С выхода двух ВРУ электропитание подается соответственно на 2 группы ИБП, затем с каждой группы ИБП по отдельным шинопроводам подается на щиты гарантированного электропитания (ЩГП), и затем уже непосредственно в машинные залы к распределительным шкафам питания стоек (ЩС). В этих шкафах напряжение 380 В (400 В) разделяется на шины 230 В для питания компьютерного и сетевого оборудования. ИБП обеспечивают европейский стандарт питания 400/230 В.
В каждый машинный зал приходит 4 раздельных шинопровода от двух независимых источников, причем проложены они разными путями во избежание одновременного механического повреждения. Так происходит резервирование питания по схеме 2N.
Точный учет потребления
Каждый шкаф ЩС имеет в своем составе интеллектуальное устройство, ведущее учет потребления электроэнергии в каждой стойке с записью показаний в лог-файл. Хотя для клиентов, размещающих свои серверы или стойки в машинном зале, расход электроэнергии не влияет на стоимость аренды, для персонала дата-центра эти сведения крайне важны. Необычно высокое или наоборот, низкое потребление говорит о возможной неисправности и требует внимания персонала.
С распределительных шкафов электропитание подается на стойки также по 2-м раздельным кабелям (по заказу клиентов, в т.ч. с устройством АВР в стойке). Серверы, имеющие по 2 блока питания (БП), подключаются к розеткам от разных вводов в стойку, а оборудование с одним БП — к розеткам АВР (опционально).
Обслуживание и мониторинг — залог надежности электропитания
Какая бы степень надежности ни закладывалась изначально в систему электропитания дата-центра, оборудование требует постоянного мониторинга и регулярного обслуживания. Вся информация о состоянии систем электропитания, включая ДГУ, собирается на больших экранах в Центре мониторинга. Кроме того, в случае возникновения отклонений от нормы, сообщения приходят на планшеты дежурных инженеров.
Согласно регламенту, дежурные инженеры и электрики совершают постоянные обходы машинных залов и, соответственно, помещений, где размещено силовое электрооборудование. Каждый сотрудник имеет при себе планшет с планом осмотра. На планшете кроме плана обхода, также присутствует описание задачи осмотра в каждой точке обхода.
После осмотра помещения или участка с оборудованием, сотрудник делает отметку в планшете, и по окончанию обхода автоматически формируется протокол обхода, который сохраняется в архиве дата-центра. Внешне это похоже на то, как пилоты обязательно зачитывают инструкцию (чек-лист) по проверке систем самолета перед взлетом, даже если знают эту инструкцию наизусть.
Кроме мониторинга, электрооборудование с определенной периодичностью проходит регламентное обслуживание. Вначале оно в рабочем состоянии осматривается с помощью тепловизора на предмет греющихся контактов, затем отключается и протягиваются все контакты. Одновременно происходит очистка шкафов и иных агрегатов от пыли. К слову, вход в помещения с оборудованием разрешен только в бахилах, а в некоторые из них — еще и в пылезащитных комбинезонах. Вот такое сложное электрическое хозяйство обеспечивает питанием серверы и сетевое оборудование клиентов Selectel.
