Путь электричества в дата-центре
Сегодня подробно поговорим о системе энергоснабжения дата-центра: узнаем, какой путь проходит электричество до стойки и что происходит, когда в ЦОДе пропадает городское электричество.
Сабж разберем на примере одного из наших дата-центров.
Поговорим по понятиям
Прежде, чем отправиться маршрутами электричества в дата-центре, разберем основные термины и определения, которые нам сегодня понадобятся.
Ввод — место подключения дата-центра к городской электросети.
Трансформатор — устройство для преобразования электрического напряжения, в нашем случае с 10 кВ до 400 В.
Луч — маршрут электричества от трансформатора до блока питания сервера.
Распределительный щит — устройство для приема, распределения электроэнергии и защиты при перегрузках и коротких замыканиях.
Дизель-генераторная установка (ДГУ) — автономная энергетическая установка, которая вырабатывает электричество посредством сжигания дизельного топлива. В дата-центре с помощью ДГУ обеспечивается гарантированное питание. Обычно ДГУ стоят выключенными, но теплыми. На запуск им нужно около 30 секунд.
Источник бесперебойного питания (ИБП) — устройство, питающее дата-центр при кратковременном отключении основного источника электроснабжения. Пропадание электричества хотя бы на секунду, приведет к отключению ИТ-оборудования. Задача ИБП не допустить этого перерыва.
Автоматический ввод резерва (АВР) — устройство, используемое в случаях, если система электроснабжения имеет не менее двух питающих вводов. В случае проблем с одним из вводов нагрузка автоматически переключается на второй. В дата-центрах АВР используется для переключения нагрузки дата-центра на ДГУ и для резервирования электроснабжения серверов с одним блоком питания.
Power distribution unit, PDU (распределитель питания) — устройство для распределения электроэнергии. В английской традиции PDU называют как электрические щиты, так и блоки розеток. У нас это только блоки розеток в стойке.
Да будет свет
Дата-центр подключается к городской электросети через два ввода. Эти вводы независимы: идут от разных подстанций и по отдельным трассам. Мы проследим путь электричества по одному из таких вводов от трансформатора до сервера в стойке.
Через вводы городское электричество попадает на понижающие трансформаторы дата-центра. Здесь 10 кВ преобразуются в 400 В.
Эти 400 В приходят на главный распределительный щит (ГРЩ). Отсюда питание расходится по всем инженерными системам и ИТ-оборудованию дата-центра.
Два ряда серых шкафов — это и есть ГРЩ. Каждый ряд (секция) питается от своего ввода и дублирует тот, что стоит напротив.
ГРЩ включает в себя:
- вводной автоматический выключатель (вводные автоматы). Если на пути от ГРЩ до нагрузки произойдет короткое замыкание или превышение допустимого тока, то вводной автомат отключится. Принцип работы этих автоматов такой же, как у пробок в электрощитке у вас дома. В каждой секции ГРЩ два вводных автомата: один работает, когда дата-центр запитан от городской электросети, другой — при включенных ДГУ.
- распределительная шина. На нее поступает все электричество и передается дальше в ИБП или другие распределительные щиты.
В верхней части расположены кабели, по которым приходит электричество из трансформатора. В средней части — вводной автомат, внизу медная распределительная шина. - автоматический ввод резерва (АВР). Он контролирует вводные автоматы от города и ДГУ, дает команды на запуск и остановку ДГУ, переключает питание дата-центра с трансформаторов на ДГУ и обратно.
На дисплее отображается, от какого источника питается дата-центр. В данный момент питание приходит от городской сети (LN1). LN 2 — это резервное линия питания от ДГУ. - отводные автоматы. Они защищают от перегруза и короткого замыкания каждую трассу, которая отходит на другие щиты и конечные потребители: стойки, ИБП, кондиционеры, освещение и пр.
- секционный переключатель. У нас два ГРЩ, так как к дата-центру подведены 2 ввода. Он позволяет питать обе секции ГРЩ от одного ввода, когда нужно отремонтировать один из траснформаторов.
В помещении с ГРЩ также находится щит, в котором собраны выходы со всех ДГУ (обычно их от 3 до 5 шт.). Когда пропадает городское электроснабжение, питание из этого щита подается в ГРЩ и расходится дальше по всему дата-центру.
Все вырабатываемое ДГУ электричество поступает на медную распределительную шину и оттуда идет на вводной автомат от ДГУ.
Итак, попадая в ГРЩ, 400 В поступают на вводной автомат от города. Далее электричество попадает на распределительную шину и отводные автоматы. АВР в случае перебоев с городской электросетью, переключает дата-центр на питание от ДГУ. От ГРЩ электропитание идет уже гарантированное, но все еще:
а) «грязное»: городское напряжение не слишком стабильно, бывают скачки, временные повышения и понижения.
б) не бесперебойное: ДГУ потребуется до 30 секунд, чтоб завестись и выйти на рабочую нагрузку.
Обе эти проблемы решает источник бесперебойного питания (ИБП). Именно туда поступает электричество после ГРЩ. ИБП выравнивает напряжение до заданного значения, а при потере питания от города ИБП автоматически переключает свою нагрузку на аккумуляторные батареи. На батареях ЦОД может работать автономно около 15 минут. Этого более чем достаточно, чтобы ДГУ успели завестись.
ИБП обыкновенный.
Стеллажи с аккумуляторными батареями.
От ИБП питается распределительный щит ИБП (ЩИБП). От отводных автоматов ЩИБП электричество поступает на распределительные щиты машинных залов (ЩР), кондиционеров (ЩК), аварийного освещения (ЩС) и другие щиты.
В ЩР для каждой стойки устанавливается свой отводной автомат нужного номинала и фазности. Например, чтобы запитать стойку мощностью в 6,5 кВт устанавливаем однофазный автомат 32А.
В машинных залах NORD 4 вместо ЩР используются шинопроводы, находящиеся под фальшполом.
На шинопроводе устанавливаются отводные коробки с автоматами, ведущими к стойкам.
Осталось запитать оборудование в стойке. Для этого в стойку устанавливается два PDU, которые подключаются к разным лучам питания. Оборудование с двумя блоками питания подключается в разные PDU. Если у оборудования один блок питания, то к PDU оно подключается через АВР. При потере питания на одном из PDU АВР переключает нагрузку на второй.
Принципиально важно правильно подключить оборудование к АВР и PDU. Если напутать, то никакое резервирование по питанию в дата-центре не поможет пережить вашему серверу перебои с городским электроснабжением.
Схема правильного подключения серверов с одним и двумя блоками питания в стойку.
Вот такой путь проходит электричество по одному лучу от трансформатора до сервера в стойке. Аналогичным маршрутом электричество добирается до стойки и по второму лучу. На общей схеме все вышеописанное выглядит вот так: 
Тушите свет
Теперь разберем ситуацию, когда в дата-центре пропадает городское электроснабжение. При этом сценарии происходит следующее:
— ИБП переключаются на питание от аккумуляторных батарей;
— автоматический ввод резерва в ГРЩ запускает ДГУ и переключает дата-центр на питание от них.
Вот как это происходит:
- ИБП фиксирует пропадание питания на входе и автоматически переключается на автономное питание от аккумуляторных батарей.
- Одновременно с этим АВР в ГРЩ также фиксирует перебой с городским питанием. АВР Ждет 5 секунд. Если питание не восстановилось, то АВР подает сигнал на запуск ДГУ.
- ДГУ запускаются и синхронизируются между собой за 15–30 секунд.
- Когда питание от ДГУ появляется на резервной линии, АВР подает питание от ДГУ на секцию ГРЩ.
- ИБП видит восстановление питания на входе и возвращается в стандартный режим.
Когда питание по городской сети возобновляется, то тот же АВР автоматически возвращает дата-центр на питание от городской сети:
- АВР фиксирует возврат городского питания, ждет 5 секунд отключается от ДГУ.
- Одновременно с этим ИБП переходят на питание от батарей.
- Еще через 5 секунд АВР переводит дата-центра на питание от города, а ИБП возвращается в стандартный режим.
- АВР ждет 60 секунд, после чего дает команду на остановку ДГУ.
Одна из групп ДГУ на площадке OST.
В этом посте мы подробно разобрали, как система электроснабжения выглядит в динамике.
Если хочется узнать подробности по мощностям, маркам и схемам резервирования каждого из элемента системы в дата-центре TIER III, то можно пробежаться по нашей последней экскурсии по NORD 4.
Задавайте вопросы в комментах, если что-то интересное для вас осталось за кадром.
