Динамические ИБП в дата-центрах: как мы устанавливали Piller CPM300 с двойным преобразованием
Уверен, что читатели Хабра представляют, почему лидеры рынка дата-центров столько внимания уделяют бесперебойной подаче электропитания к серверным. Критичен даже секундный сбой, поэтому обычно с резервированием электроэнергии у ЦОД все строго, а провайдеры ищут более эффективные решения.
Для Selectel таким решением стали динамические источники бесперебойного питания Piller CPM300. В этой статье я расскажу вам, как мы запустили в работу новые для рынка ИПБ, с какими трудностями столкнулись и почему вообще решили изменить подход к резервированию IT-нагрузок.
Достоинства и недостатки динамических ИБП
Систем резервирования питания много. Их основная задача — сделать так, чтобы при сбоях в подаче электроэнергии система могла поддерживать работу оборудования в течение времени, достаточного для решения приведших к сбою проблем.
Часто в центрах обработки данных, в том числе в существующих серверных Selectel, используются классические статические ИБП в связке с дизель-генераторными установками (ДГУ). Статическими такие ИБП называются потому, что в их конструкции нет движущихся элементов, кроме крутящихся вентиляторов. Традиционны для дата-центров ИБП с двойным преобразованием электроэнергии — в них есть выпрямитель и инвертор. Выпрямитель «причесывает» ток, преобразуя переменный в постоянный, а инвертор выполняет обратное действие так, чтобы из него вышел сигнал чистой синусоидальной формы.
Статические ИБП надежно резервируют питание критической нагрузки, но имеют ряд недостатков в сравнении с динамическими машинами. В последних запасание энергии и передача питания на нагрузку производится за счет использования вращающихся элементов (маховиков, мотор-генераторов и т.д.).
Аккумуляторные батареи
В случае статических ИБП при отключении электроэнергии или длительных сбоях оборудование питается от аккумуляторных батарей постоянного тока. Они способны поддерживать 5–30 минут работы — этого достаточно для переключения на ДГУ.
Динамическим источникам бесперебойного питания аккумуляторные батареи не нужны. Они сами выступают как временное хранилище энергии и включаются, когда в сети пропадает электропитание. В «спокойное» время динамический элемент ИБП накапливает в себе энергию, а в критических ситуациях берет на себя роль электрогенератора. Поддерживать работу оборудования он может всего лишь 30 секунд (зависит от нагрузки), но и этого времени хватает для подключения ДГУ.
В случае динамических ИБП аккумуляторные батареи исключены из системы, а значит, оператору ЦОД не нужно закладывать место для их размещения. Освободившиеся квадратные метры можно использовать для полезной IT-нагрузки — разместить там серверные стойки. Серверы приносят выгоду провайдеру, а вот обслуживание, закупка и замена аккумуляторов обременяют и стоят денег. Кроме того, аккумуляторы неэкологичны и сложны в утилизации.
Эксплуатация
Классические ИБП двойного преобразования требуют ежеквартального технического обслуживания с проверкой (и возможной регламентной заменой) аккумуляторных батарей, проведения тестов разрядки, постоянного тепловизионного контроля и контроля уровня водорода, который так или иначе выделяется при заряде.
Обслуживание динамических ИБП минимально. Так, производитель CPM (Critical Power Module), которые мы закупили для новых серверных в Москве и Санкт-Петербурге, пишет, что срок службы подшипников силового моста составляет 11 лет, а вакуумный насос обслуживается каждые 5 лет. Чаще всего нужно менять смазку — раз в 3 года. В результате при расчете капитальных затрат на продолжительный срок службы динамические ИБП сильно выигрывают.
Время резервирования
Чайную ложку дегтя все же добавлю. Время резервирования энергии динамических ИБП можно считать относительно небольшим — 20 секунд при максимальной нагрузке либо больше, все зависит от мощности, которую они должны резервировать. Аккумуляторных батарей нет, заряд запасается в виде кинетической энергии в маховике силового моста. Так что в связку для таких установок необходимо подбирать дизель-генераторы, способные взять всю нагрузку в кратчайшее время. К счастью, функциональность подобного оборудования тоже не стоит на месте — есть по-настоящему шустрые ДГУ. В нашем случае подошли дизельные электростанции KOHLER-SDMO.
Уже не раз показывали внутреннюю «кухню» дата-центров. Если любите такое, советуем эти тексты:→ Как выстроена безопасность в ЦОД
→ DCIM-системы: учет оборудования и мониторинг систем дата-центра
Почему мы выбрали CPM Piller300
Динамические (дизель-роторные) ИБП давно используются на рынке ЦОД. Selectel эти решения не подходили: установки не удовлетворяли наши требования по условию двойного преобразования как напряжения, так и частоты
CPM Piller300 — новинка на рынке дата-центров, которая нас сразу заинтересовала. Решение объединяет достоинства динамических и статических ИБП. Динамический модуль играет роль накопителя энергии вместо аккумуляторных батарей, но, если его исключить, у нас остается система, максимально приближенная к классическим ИБП.
Исключая из схемы аккумуляторы, дата-центр выигрывает по нескольким пунктам:
→ Экологичность: батареи нужно правильно утилизировать, обычно их закапывают в землю.
→ Экономия полезной площади серверной: аккумуляторы занимали место, где можно было поставить серверную стойку.
→ Нетребовательность CPM к температуре: аккумуляторы нужно охлаждать фреоном, чтобы поддерживать необходимую им температуру в 20–25° C; CPM Piller300 же могут работать при температуре до 50° C. Исключая аккумуляторы, мы решаем проблему с доохлаждением оборудования.
CPM Piller300 на данный момент удовлетворяют требования к резервированию критической нагрузки, которые были у Selectel, и в тоже время имеют модульность для построения отказоустойчивой архитектуры. Оценив технические преимущества ИБП и подсчитав экономию бюджета, полезной площади машинного зала, времени на эксплуатацию, мы закупили новые для компании ИБП и начали ждать поставку.
Вот так инфернально выглядит установка на сайте поставщика
Габариты CPM Piller300
Подготовка к установке динамического ИБП
К приезду и установке новых ИБП нужно было хорошо подготовиться.
Прежде всего с помощью компьютерного моделирования мы рассчитали, справятся ли основания дата-центра с вибро-динамическими нагрузками. Важно, чтобы нетипичная для здания нагрузка не нарушила его целостность.
Элементная схема здания для расчета нагрузок
Далее подготовили плиту для установки CPM и надежную прокладку, гасящую вибрации. Надежное основание для установки модулей роторного динамического ИБП критически важно, ведь масса каждого «волчка», или силового моста, — 3 900 килограммов. При нормальной работе они производят 4 750 оборотов в минуту, с частотой 158 Гц.
Наконец, CPM будет выделять тепло при работе. Для его отвода мы спроектировали систему вентиляции, которая будет выводить горячий воздух из нового помещения ГРЩ, где установлены CPM.
Установка и подключение
Итак, CPM привезли. Для их разгрузки и установки мы заранее вызвали вилочный погрузчик и подготовили площадки для размещения модулей.
Далее инженеры расставили оборудование по ГРЩ и закрепили к полу анкерными болтами.
Переходим к подключению.
Кстати, еще одно преимущество динамических ИБП состоит в том, что в их случае не нужно «обвязывать» сотни аккумуляторных батарей, работая под напряжением, как на классических ИБП с батарейными секциями. Обычно это требует большого количества времени, сил, а также создает опасность короткого замыкания или даже поражения людей электрическим током.
CPM Piller приехал к нам полностью готовым к подключению и запуску. Необходимо было только собрать модули между собой, подключить питание и нагрузку.
На схеме:
Как это выглядит на практике:
Силовые кабели подключены на соответствующие клеммы
В нашем случае ввод силовых кабелей в ИБП производится сверху. Кабели подключаются на соответствующие клеммы входа на ИБП, вход байпаса, выход к нагрузке.
Также подключаются кабели диспетчеризации, управления, параллельной работы.
Устройство CPM Piller300
Выбранные динамические ИБП отличаются простым устройством. По схеме работы аналогичны классическим ИБП двойного преобразования.
Перечислю его основные элементы:
Выпрямитель — преобразует переменный ток входящей сети в постоянный, заряжает силовой мост ИБП и дает питание на инвертор.
Инвертор — преобразует постоянный ток в переменный, задавая ему необходимые параметры. Такое двойное преобразование позволяет исключить попадание в дата-центр вредных колебаний внешней сети.
Силовой мост — накопитель кинетической энергии. Маховик представляет собой вращающееся устройство, работающее в вакууме, для обеспечения минимальных потерь энергии. Выполнен в виде вертикального ротора, закрепленного на подшипниках. Маховик заряжается и разряжается синхронной машиной, преобразуя электрическую энергию в механическую и наоборот.
Габариты и составляющие внутренней части модуля силового моста
Внутренняя часть модуля силового моста
Конвертер — еще один преобразователь. Его роль — связь силового моста с сетью ИБП. Он преобразует постоянный ток внутри ИБП в переменный и обратно, управляя процессом разгона (заряда) и торможения (разряда) силового моста.
Технические характеристики Piller CPM300
- Номинальная выходная мощность одной установки (одного ИБП Piller CPM300) — 333 кВА, что равно 300 кВт .
- Установка работает на частоте 50 Гц и регулируемом выходном диапазоне напряжения от 380В до 440В.
- Силовой мост производит от 2700 до 4750 об./мин и запасает энергию в 6 МДж.
CPM может работать в режимах VI (Voltage Independent, независимо от напряжения), VFD (Voltage Frequency Dependent, зависимо от частоты и напряжения) и VFI (Voltage Frequency Independent, независимо от частоты и напряжения). При последнем режиме работа ИБП не зависит от напряжения в сети, а потому не зависит и от амплитуды напряжения, и от перепадов частот. Любые отклонения могут быть полностью компенсированы
Запуск динамического ИБП и его работа в системе электроснабжения
После подготовки системы и подачи питания на ввод иконки VI Input и VFI Input отображаются зеленым цветом. ИБП готов к запуску.
Включается байпас. Нагрузка запитывается от сети через байпасную линию.
Теперь можно запустить силовой мост. Происходит предварительная зарядка, или «раскрутка», силового моста, установка выходит на свои номинальные 3 800 оборотов в минуту. После этого он (Powerbridge) становится зеленым на схеме.
Нажатием кнопки Output замыкается выходной контактор QA006. Нагрузка переходит на питание от ИБП в режиме двойного преобразования.
При выходе за пределы установленных значений внешней электросети входной контактор QA001 размыкается. Нагрузка переходит на питание от силового моста, через инвертор. Маховик вращается за счет накопленной энергии, преобразуя кинетическую энергию вращения в электрическую, и поддерживает бесперебойное питание.
После сигнала о переходе на силовой мост запускается ДГУ и происходит переключение устройства автоматического включения резерва (АВР). Входная сеть заменяется на питание от дизелей, тем самым питание серверов надежно резервируется.
Трудности на старте
При вводе в работу нового оборудования без сложностей не обходится — так было и с новыми роторными ИБП. После первых запусков мы обнаружили некорректную работу реле контроля скорости вращения маховика одной из установок.
К счастью, инженеры Piller быстро нашли замену, и мы перешли к испытаниям ИБП под нагрузкой.
Нагрузочный модуль для проведения испытаний
При нагрузочных испытаниях нам нужно было добиться максимально плавной передачи нагрузки на ДГУ, после того как ДГУ вышел на номинальный режим.
Для создания таких условий мы изменили настройки ДГУ: убрали двухсекундную задержку перед пуском для максимально быстрого старта. Также настроили АВР ГРЩ на более быстрое переключение. Активировали на CPM режим Diesel Mode и увеличили рампу передачи нагрузки от CPM на дизель с начальных 5 до 14 секунд.
Панель управления ДГУ
Нам было необходимо добиться оптимальной работы системы: ДГУ должен быть способен как можно быстрее принять нагрузку, а CPM — передать ее максимально плавно. В результате всех настроек система «мягко» переходит на питание от ДГУ даже при максимальной нагрузке.
Как будут вести себя системы спустя некоторое время в эксплуатации, покажет время. И об этом я обязательно расскажу в будущих статьях. А чтобы не пропустить следующие публикации, подпишитесь на наш блог.
