“Тополиный пух, жара, июль”, Или как этим летом работают кондиционеры ЦОДа12.07.2021 10:46

Начало заголовка статьи взято из песни группы «Иванушки International», которая так и называется «Тополиный пух»​ — поставим значок авторских прав и дадим ссылку на трек. В песне еще есть такие слова — «ночи такие теплые». 

Теплые не только ночи, но и дни. Недавно был побит температурный рекорд дня +34,8 0С. «Такой жары в июне за это время не было еще никогда», — сообщили в Росгидрометцентре. Июль 2021 года не прохладнее. Так что нынешнее лето выдалось жарким, ну и тополиный пух присутствует как всегда, как же без него. В итоге центры обработки данных работают в довольно критическом режиме. Разберемся, как себя чувствует ключевое звено серверной — система охлаждения.

Итак по порядку. Сервер потребляет несколько сотен ватт энергии. Таких в телекоммуникационном шкафу десятки. Обычно расчет идет на стойку, на которую приходится в среднем 5 кВт. Хотя есть отдельные виды оборудования мощностью до 7 кВт на одно устройство. Тепла много и если есть проблемы с его отводом, то машинный зал встанет. О последствиях аварии лучше не говорить. Поэтому за кондиционированием воздуха в машинном зале система мониторинга следит очень внимательно. Датчики температуры настолько суровы чувствительны, что могут зафиксировать присутствие человека, который задержался у стойки. 

Ниже на графике видно, что температура у конкретной стойки поднялась — это не оборудование в данный момент стало работать более интенсивно, это к стойке подошел инженер и проводит профилактические работы (он заслонил собой поток воздуха, ну и сам излучает тепло, примерно 100 Вт). Само оборудование нагревается более плавно и на графике не было бы такого скачка. Так что удаленно даже не по видеокамерам, а по диаграмме температуры можно понять — есть ли кто-то из теплокровных существ в машинном зале или нет. 

Пример с инженером у стойки конечно же курьёзный, тем не менее он демонстрирует отношение владельца дата-центра к контролю температурных показателей.

Вот как выглядит сводка мониторинга температуры одного из участков — если нажать на изображение и увеличить его, то будет видна температура в горячих и холодных коридорах машинного зала. В холодном коридоре температура колеблется от +18 до +25 0С, в горячем от +21 до +34 0С. Всё в пределах нормы.

Теперь перейдем непосредственно к кондиционерам, к жаре, июлю и пуху. Даем пример двух радиаторов, а точнее решеток воздухозаборников.

Кондиционер курильщика

Кондиционер здорового человека

Моем, чистим, драим

С тем, чтобы эффективная охлаждающая поверхность решетки радиатора соответствовала заявленным производителем параметрам требуется проводить профилактические работы. Необходимо периодически брать старый добрый Керхер и производить нехитрую операцию очистки радиатора от наслоений и пыли. Мы не подписывали рекламный контракт с этим производителем — возьмите любой другой моющий агрегат, главное — используйте обычную воду, без всяких шампуней и моющих средств, поскольку алюминий и медь, из которых изготовлены трубки и ламели (теплоотводящие пластины) радиатора не любят щелочь и со временем могут окислиться.

Ламели очень тонкие (десятые доли миллиметра), поэтому струю воды надо направлять перпендикулярно к ним, а не под углом, иначе они могут погнуться.

Процесс очистки выглядит просто, но крайне важен:

Еще немного кадров кондиционера Stulz:  

Сбоку устройства видны 6 рядов трубок

— Как работает трансформатор? — спрашивает учитель.
— У-у-у-у — отвечает ученик.

А мы покажем, как работает вентилятор:

Почему надо следить за внешней частью сплит-системы кондиционера? Все дело в том, что если она загрязнится/засорится, то давление во входном и выходном патрубках, по которым течет хладагент выйдет за пределы нормы и автоматика его отключит. Как говорится, «Аларма!». Понятно, что система кондиционирования центра обработки данных имеет резервирование, но доводить до точки кипения (в прямом смысле до кипения хладагента) не надо.

Внутри. Машинный зал ЦОДа

Переходим с улицы в машинный зал. Вот что отображается табло. Там свежо, несмотря, что на улице «жара-июль»:

Обращаем внимание еще на пару моментов:

Временно незадействованные телекоммуникационные шкафы закрыты шторками дабы драгоценный холодный воздух не перетекал из соответственно холодного коридора ЦОДа в горячий коридор минуя оборудование.

А это решетки фальшполов. Обратите внимание, они имеют разный размер ячеек (назовем их так). Из-под фальшполов подается охлажденный воздух и размером ячеек можно регулировать степень охлаждения каждой зоны машинного зала. Поэтому проектирование и эксплуатация дата-центра — не тривиальная задача. 

Случай из практики

В случае выхода из строя кулеров сервера его RAID-контроллер может разогреться до 75 0С и даже выше. Это нештатная ситуация и она случилась с оборудованием одного из клиентов. Аномальная температура блока была замечена заказчиком, поскольку он удалённо мониторил его параметр. Естественно первой реакций было недоумение — «Что у вас там, Сахара?». Нет, не Сахара, просто вам надо отремонтировать сервер, кулеры которого не подтягивают нашу прохладу — у нас всегда 23 0С.

Все снимки и видеоматериалы сделаны в дата-центре itsoft в Тушино в Москве. Сейчас в связи с пандемией экскурсии на объект приостановлены, но как только ограничения будут сняты — милости просим в гости. Ну, а заказчики могут прийти, как говорится без приглашения.

Мы нашли в решетке перышко. Орнитологи, что это за птица?

Дата-центр ITSOFT — размещение и аренда серверов и стоек в двух дата-центрах в Москве. За последние годы UPTIME составляет 100%. Размещение GPU-ферм и ASIC-майнеров, аренда GPU-серверов, лицензии связи, SSL-сертификаты, администрирование серверов и поддержка сайтов.