Охлаждение серверной. Разделяй и властвуй
Всем доброго дня.Так уж случилось что статьи начинают формироваться в цикл. Первая часть цикла находится здесь habrahabr.ru/post/235593/В этой части я попытаюсь упрощенно объяснить зачем нужно управлять воздушными потоками в серверной, как это реализуется, плюсы и минусы различных подходов, а так же экономическое обоснование крупными мазками.Основные цели у нас:1. Подать холодный воздух на воздухозаборники оборудования.2. Забрать горячий воздух с выброса и подача его на воздухозаборник кондиционера.3. Обеспечение необходимого объема и давления воздуха.4. Разделение потоков горячего и холодного воздуха.
Для чего это нужно?
Как уже было упомянуто в предыдущей статье, основная проблема с холодом в серверной — это перемешивание воздуха. Перемешивание создает 2 проблемы:1. Температура воздуха на воздухозаборнике сервера выше, чем требуется.2. Температура воздуха на воздухозаборнике кондиционера ниже, чем планировалось конструкторами. Это снижает КПД кондиционера, создает проблемы с регулированием, в некоторых системах приводит к ошибкам, которые могут просто отключить кондиционер.
Как решаются эти проблемы?
Разделением потоков. Есть 3 основных способа разделения потоков:1. Изоляция на уровне стойки (Rack Air Containment System — RACS).2. Изоляция холодного коридора (Cold Air Containment System — CACS).3. Изоляция горячего коридора (Hot Air Containment System — HACS).
Изоляция на уровне стойки выглядит следующим образом
На картинке изображен рядный кондиционер и стойка, доукомплектованные элементами RACS.
RACS используют в 3-х случаях:1. Когда нужно повысить холодопроизводительность рядного кондиционера, который охлаждает непосредственно эту стойку. Рядные прецизионные кондиционеры спроектированы для работы с высокой температурой обратного воздуха. Чем выше температура, тем больше холодопроизводительность кондиционера. Опять таки, чем меньше холодный воздух расходится по помещению, тем больше его попадает на воздухозабор стойки.2. Когда нужно охладить стойку в большом помещении, но само помещение охлаждать не эффективно.3. Когда в помещении находятся, например, стандартные стойки с тепловыделением 5–8 кВт и пара стоек с тепловыделением 20–70 кВт. В этом случае вы строите одну систему для всех стоек с применение дорогих специализированных решений. Либо строите простую систему на базе периметральных кондиционеров для стоек с низким потреблением, и строите отдельный контейнер для высоконагруженных стоек.
Изоляция холодного коридора выглядит так: 
Для CACS требуется расположить шкафы в один ряд напротив стены либо в 2 ряда друг напротив друга. Зона подачи холодного воздуха перекрывается крышей и дверями/шторками, создавая изолированный объем.CACS — это довольно традиционный вариант. Его применяют уже давно, в силу сложившихся традиций цодостроения, когда стойки размещаются лицом друг к другу. Поэтому это наиболее подходящий вариант для модернизируемых ЦОД.
Изоляция горячего коридора выглядит так: 
Точно так же как и для CACS, HACS требует рядного размещения шкафов, с той лишь разницей, что шкафы должны располагаться «спиной» друг к другу. Изолируется при этом зона горячего воздуха.
И в том и другом случае возможно применение как рядных, так и периметральных кондиционеров. В случае с CACS, для подачи воздуха может использоваться фальшпол, забор горячего воздуха производится из объема помещения. В случае с HACS подача производится в объем помещения. В периметральном охлаждении для забора воздуха используется пленум фальшпотолка или воздуховоды. При этом крыша коридора меняется на воздуховод (есть ещё термин chimney — дословно «печная труба»), как на картинке выше.В качестве варианта использования HACS, можно применять так называемые «вытяжные двери». Это блок с вентиляторами, который навешивается вместо задней двери шкафа и обеспечивает забор воздуха и подачу его в пленум фальшпотолка. Специфическая вещь, может использоватся когда необходимо изолировать несколько стоек в помещении, или когда производится модернизация старых ЦОДов, где шкафы размещались хаотично, а передвинуть их для формирования коридора нет возможности.
Очень важный момент при использовании систем изоляции. Не нужно думать, что если вы закрыли крышу и торцы коридора, ваша работа выполнена на «отлично». Есть ещё куча дыр, которые нужно перекрыть:1. Пустые юниты в шкафах. Используем специальные заглушки, картон, поликарбонат, доски.2. Щели между шкафами. Покупаем у производителя шкафов специальные заглушки или берем полиуретановую самоклеющуюся ленту.3. Щели между плитками фальшпола, щели в местах примыкания фальшпола к стенам и конструктивным элементам. Используем уплотнители на стрингеры пола (у вас ведь пол в ЦОДе собран со стрингерами). В местах примыкания к стенам — опять таки ленту из п.2.4. Кабельные вводы, через которые воздух может перетекать из одной зоны в другую. Здесь нужно использовать щеточные вводы.
Особенности использования той или иной системы.
RACS. Тут все классно за исключением проблем с пожаротушением. Необходимо либо создавать единый объем с помещением путем реализации автоматического открытия дверей, либо заводить пожаротушение в RACS.CACS и HACS. Основное отличие в том, какой воздух у нас в помещении — холодный или горячий. При использовании CACS мы не сможем разместить в помещении нестоечное оборудование, поскольку всё помещение у нас будет зоной горячего воздуха. Температура там может достигать 35 градусов и выше. С HACS таких проблем нет. Опять же согласно санитарным нормам, работать при высокой температуре можно ограниченное количество времени. Это исключает проведение длительных работ в помещении при использовании CACS. Ну и третье — запас холодного воздуха при аварии кондиционеров разный, у HACS он больше. Очень важный момент при использовании пленумов для подачи воздуха — турбулентность. Если вы используете фальшпол, необходимо предусмотреть достаточное его сечение. Оперировать мы можем только высотой, поскольку площадь у нас определяется помещением. Уменьшение высоты приводит к увеличению скорости потоков воздуха (объем воздуха у нас ведь постоянный), высокие скорости в условиях большого количества преград (в виде стоек фальшпола, лотков и т.п.) приводит к образованиям завихрений (турбулентность), турбулентность приводит к снижению давления, следовательно уменьшается объем воздуха, которые выходит непосредственно из перфорированных плиток пола. Нам необходимо всегда стремиться к ламинарному потоку. Для расчета высоты можно применять CFD софт (правильно и с наибольшей достоверностью), либо производить примерный расчет. Мощная статья на эту тему www.ccc.ru/magazine/depot/07_12/read.html? Wcd7c2146c471e.htm.
Экономика.
Одни хорошие ребята провели математическое моделирование. Для расчета был взят один и тот же ЦОД. На рядном охлаждении посчитали CAPEX и OPEX с HACS и без. На периметральном охлаждении считали CAPEX и OPEX, сравнивая HACS и CACS. Что же показало исследование?1. В рядном охлаждении решение с изолированными коридорами в среднем на 5–7% дешевле в CAPEX. За счет увеличения capture index (возможность кондиционера «захватить» горячий воздух) снизилось количество применяемых кондиционеров. Операционные затраты также снижаются за счет снижения количества кондиционеров (снижение электропотребления) и за счет повышения КПД, поскольку мы смогли повысить температуру в горячем коридоре.2. В периметральном охлаждении все запутаннее. Самый низкий CAPEX у решения без изоляции. Но данные решения могут применяться только до мощностей 5–7 кВт на стойку. Дальше только изоляция. До мощностей 12–15 кВт на стойку CACS дешевле HACS на 2–6%, поскольку для HACS требуется система отвода горячего воздуха (воздуховоды, пленум фальшпотолка). Однако после этого порога, для CACS требуется применение доводчиков воздуха из-под фальшпола, что существенно удорожает решение (на 7–10%). Операционные затраты для изолированных решений ниже на 12% чем для неизолированных. При этом до порога 12–15 кВт на стойку затраты CACS и HACS одинаковы и начинают расходиться после этого порога. CACS становится в среднем на 4% дороже, потому что в баланс добавляется потребление доводчиков воздуха.
Как же выбрать то, что вам подойдет?
Если потолки низкие (следовательно нет возможности установить фальшпол) стройте рядное решение с HACS при любых плотностях.Если у вас низкая плотность (до 6 кВт на стойку) и высокие потолки, стройте периметральное решение без изоляции с раздачей воздуха под фальшпол.Если у вас высокие плотности (15 и выше кВт) стройте HACS, рядное или периметральное — зависит от геометрии помещения.Если плотность средняя (6–12 кВт) стройте CACS.Пограничные случаи требуют расчетов и моделирования, все зависит от резервирования, количества стоек и геометрии помещения. Чаша весов может склониться в любую сторону.
На этом все, если будут вопросы — отвечу в комментариях.
