Неинвазивный мониторинг ЦОД: повышаем надежность и снижаем затраты
Мы решили вернуться к теме мониторинга ЦОД, но уже с другого ракурса. У телеком-компаний, живущих на рынке два-три десятка лет, набирается хорошая коллекция разного оборудования в автозалах, трансмиссионных узлах и базовых станциях. Все они оснащены, как правило, встроенными средствами мониторинга, но возникает проблема увязывания большого числа разных систем и интерфейсов.
Конечно, в идеальном случае нужно строить единую систему мониторинга, и в статье «Огонь, вода и всякие трубы: от чего защищает ЦОД система мониторинга» мы как раз рассказали о таком решении. К сожалению, в реальности все бывает иначе. В автозалах используются стойки с разным оборудованием и питанием (постоянный или переменный ток), своими интерфейсами мониторинга, со сложным регламентом согласования работ. Стойку чаще всего нельзя даже выключить на несколько минут, не говоря уже о том, чтобы вмешаться в ее конструкцию.
Как быть в таких ситуациях? Как обеспечить надежную работу оборудования, не «влезая» внутрь стойки? Как попытаться при этом еще и сэкономить, оптимизируя энергопотребление и PUE (Power Usage Efficiency)? В статье мы как раз расскажем о подобном неинвазивном решении на основе автозала телекоммуникационной компании в Санкт-Петербурге, которое сделал интегратор ЦОДУМ.
Первый щит мониторинга с модулями WB-MAI6
Дополнительные фото
Второй щит мониторинга с контроллером Wiren Board 7 и счетчиками электроэнергии WB-MAP
Задачи
У телекоммуникационной компании большое количество автозалов — они имеют гетерогенную структуру с разными системами мониторинга. Интегратору была поставлена задача продемонстрировать возможность мониторинга энергоэффективности в автозале, где часть нагрузки запитана по постоянному току. В качестве пилота была сделана система мониторинга в одном автозале в Санкт-Петербурге.
Дополнительное условие — решение должно было быть неинвазивным, то есть внедрение не должно никак влиять на работу автозала ни на каком этапе. Тут вопрос не только в бесперебойности работы оборудования самого автозала, но и в защите от злоумышленников: контур системы мониторинга отделен от основных систем автозала.
Задача усложнялась тем, что у телекоммуникационной компании в автозале используется большое количество оборудования с питанием постоянным током. Его мониторинг тоже выполняется.
Система мониторинга — это «глаза» сервисных инженеров, чтобы они «видели» все процессы, проходящие в инженерной инфраструктуре автозала, изменения параметров его микроклимата. Это позволяет им быстро принимать правильные решения, и тем самым гарантировать бесперебойную работу оборудования. А персоналу автозала система мониторинга энергоэффективности должна была предоставить данные, позволяющие оценить, как сказываются на PUE их действия по изменению инженерной инфраструктуры автозала и изменению режимов ее работы.
Решение
Все начинается с датчиков, информацию от которых использует система мониторинга. Можно выделить три основных типа датчиков:
температуры воздуха в холодных и горячих коридорах;
наличия и качества электроэнергии на вводах, на групповых линиях питания стоек, климатического оборудования;
датчики потребляемого тока.
Мы посетили автозал, чтобы ознакомиться с устройствами, которые входят в систему мониторинга. Для охлаждения здесь установлены кондиционеры, между стойками чередуются горячие и холодные коридоры. Сделан фальш-пол, через который идет приток воздуха от кондиционеров в холодные коридоры. В горячих коридорах воздух забирается сверху.
Распределительные коробки для подключения трансформаторов тока
В горячих и холодных коридорах установлены три датчика температуры WB-MS v. 2 на коридор на мостиках выше стоек. На каждую стойку сверху установлен датчик 1-WIRE DS18B20.
В главном щите мониторинга установлены контроллер Wiren Board, счетчики электричества WB-MAP3E и WB-MAP12E, модули аналогового ввода WB-MAI6 для контроля потребления нагрузок постоянного тока. В выносных щитах вблизи оборудования автозала установлены счетчики электричества и модули WB-M1W2 для датчиков 1-WIRE. Подключение оборудования к контроллеру осуществляется по протоколу Modbus.
Дополнительные фото
Трансформаторы тока на линиях питания оборудования в распределительном щите
Датчики Холла на вводах постоянного тока
Для учета постоянного тока в автозале используют датчики на основе эффекта Холла, которые устанавливаются на питающие кабели. Они преобразуют измеряемый ток в пропорционально изменяемое напряжение, которое измеряется с помощью WB-MAI6.
На вводные кабели автозала, кабели питания стоек и климатического оборудования переменным током подключены трансформаторы тока, информация с которых обрабатывается счетчиками электричества WB-MAP3E и WB-MAP12E.
Интегратор выбрал разъемные трансформаторы тока и датчики Холла, которые позволили подключиться к вводам без выключения оборудования дата-центра.
Дашборд мониторинга
Выше мы рассмотрели аппаратную составляющую системы мониторинга. Теперь перейдем к программной части системы мониторинга Smart DCIM. Система гибкая, полностью настраивается под требования заказчика. Например, цвета тепловой карты устанавливают в соответствии с пожеланием заказчика: если 30 градусов критично, эти области будут показаны красным.
Мониторинг PUE. Измеряем аж в 5 разрезах: мгновенный, за сутки, за неделю, за месяц и за три месяца
Дополнительные фото
Мониторинг потребления энергии. Видны максимальное и минимальное значение, зафиксированное за сутки и динамика каждого потребителя
Мониторинг потребления основных энергетических систем автозала
Автоматический отчет по температуре в автозале
Улучшение PUE
Начнем с того, что система мониторинга — это инструмент в руках аналитика, позволяющий оценивать с точки зрения надежности и энергоэффективности, к чему приведут те или иные действия. В идеальном случае коэффициент PUE = 1, однако он, как и все идеальное, недостижим. Система мониторинга позволяет оценивать каждое действие в контексте изменения PUE. Здесь даже десятые процентов имеют значения, поскольку счета за электроэнергию в ЦОД очень большие.
Например, в рамках пилота были проведены следующие исследования.
Оптимизация кондиционеров. Что будет, если на улице станет жарко или в автозал будет добавлено новое оборудование? Как это скажется на PUE? Как скажется на потреблении оборудования? Есть ли запас прочности?
Оптимизация воздухораспределения. Как более грамотно направить потоки воздуха и расположить вентиляционные решетки, чтобы эффективнее охлаждать и поднять PUE?
Планирование мощностей и затрат. Корректная оценка стоимости подключения нового оборудования, которая показывает, например, что электричества для него нужно почти в полтора раза больше, чем его фактическое потребление (КПД преобразователей, мощность на охлаждение…). Да и просто оценить тренд загруженности. Не подошли ли мы к максимально возможному уровню потребления? Что будет примерно через год?
К сожалению, мы не можем рассказать все подробности, но применение данных системы мониторинга позволило персоналу автозала улучшить PUE на несколько десятых.
Заключение
В статье мы рассмотрели решение мониторинга, которое можно установить в любой дата-центр неинвазивным способом. Здесь не требуется интеграция «зоопарка» контроллеров в систему по SNMP или Modbus, которая по ряду причин не всегда возможна. Поскольку система мониторинга отделена от всего остального оборудования, то ее взлом не позволит злоумышленникам внести какие-либо изменения в функционирование автозала.
Установка максимально упрощена: по дата-центру распределяют датчики температуры, на вводы автозала, стоек и оборудования устанавливают токоснимающие трансформаторы (переменный ток) или датчики Холла (постоянный ток). Контроллер Wiren Board отвечает за сбор информации с датчиков и передает ее на сервер мониторинга.
За остальную часть отвечает система мониторинга Smart DCIM, которая обрабатывает данные и предоставляет различные отчеты. Она же обеспечивает рабочие места дежурного смены, энергетика, специалистов по климату и безопасности. Конечно, ответственным лицам приходят оповещения в случае инцидентов.
В качестве бонуса системы мониторинга — улучшение коэффициента энергоэффективности PUE. Аналитик получает в руки инструмент, позволяющий оценивать те или иные действия с точки зрения эффективности. Даже десятые доли здесь имеют значение, поскольку счета за электричество автозала весьма велики.
Наконец, благодаря типовому решению на контроллере Wiren Board и датчиках его можно легко масштабировать под конкретный автозал.
