[Из песочницы] Охлаждение серверной. Куда потратить деньги с пользой
На написание этой публикации меня подвигли 4 вещи:1. Публикация «Почему важно поддерживать температурный режим в серверной. Как обычно устроено охлаждение серверной», в которой автор попытался выполнить почетную и очень трудную миссию по разъяснению необходимости охлаждать сервера.2. Ошибки, вычитанные в этом посте.3. Собственный опыт.4. Стремящееся к нулю количество содержательных статей по тематике инфраструктуры ЦОД (я подразумеваю, что серверная = маленький ЦОД) на Хабре. Хотя «Билайн» и ребята из «ЦОДы.рф» в этом плане большие молодцы.Итак, о чем будет этот публикация.
В первую очередь это будет небольшой экскурс в теорию холодоснабжения серверных. Во вторую очередь я попытаюсь разобраться с основными заблуждениями при планировании холодоснабжения. И в третью — разбор, куда же все-таки стоит вложить денег, а от чего можно отказаться.На сегодня в холодоснабжении ЦОД существуют две глобальные стратегии:
1. Свободное охлаждение. Это когда сервера охлаждаются напрямую внешним воздухом с минимальной его подготовкой (обычно это базовая фильтрация и подогрев в зимний период).2. Контролируемое холодоснабжение, назовем его так. Это когда вы готовите воздух по показателям загрязнения, влажности, температуры и подаете его в сервера. Сюда же входят различные методы косвенного фрикулинга (используется внешний воздух для охлаждения теплообменника в котором находится воздух из ЦОД).
Преимущества первой стратегии очевидны. Это низкая стоимость внедрения, низкая стоимость обслуживания, смешные счета за электроэнергию. Недостатки тоже понятны. Неконтролируемая влажность и запыленность воздуха, что неминуемо приводит к выходу из строя компонентов серверов. У такого подхода есть свои приверженцы. Обычно это очень крупные технологические компании. Почему это хорошо для них и плохо для остальных? Есть 3 причины:
1. Сеть полностью резервируемых площадок. Если произойдет сбой на одной, подхватит вторая.2. Необходимость быть на пике технологий. Сервер, работающий с плохим воздухом, выйдет из строя примерно за год. За год эти компании поменяют поменяют парк серверов на треть. Им нет смысла беречь железо, которое через год уйдет на помойку.3. Объемы и счета за электроэнергию. Охлаждение — наиболее затратная статья в счетах за электроэнергию. Сокращение расходов на охлаждение на 1% сэкономит им несколько миллионов долларов. Что уж говорить про сокращение на 30–50%. И они готовы терпеть некоторые неудобства.
Вторая стратегия подразумевает большую надежность и продолжительный срок эксплуатации охлаждаемого оборудования. Наиболее традиционный пример — это банковская отрасль. Ну и все остальные компании, которые не меняют сервера как перчатки. Недостатки этой стратегии — цена, цена, цена. Строительства, обслуживания, электричества.
Понятно, что большинство компаний рассматривают вариант «максимально функционально и без изысков». Однако просто не всегда просто. Бывает просто и правильно, а бывает совсем наоборот (я прям боксером себя почувствовал).
Плавно перейдем к более практическим вещам. Когда говорят про охлаждение серверов, в первую очередь подразумевают контроль температуры. Это верно, но недостаточно. Три столпа правильного охлаждения — это температура, объем воздуха и его влажность. Вторым эшелоном идет управление воздушными потоками, то есть как направить холодный воздух туда, где его заберет сервер и как забрать горячий воздух с «выброса» сервера и направить его в кондиционер. И как при этом сделать, чтобы горячий и холодный воздух не перемешивался.
С температурой все просто. Есть рекомендации производителя сервера, есть рекомендации ASHRAE. Нормальной температурой для большинства серверных я считаю 22–24 градуса.
Если про температуру все помнят, то про объем воздуха не думает практически никто из строящих серверную. Давайте посмотрим на технические параметры сервера. Помимо потребления, размеров и т.п. там есть параметр, обычно измеряемый в CFM (кубические футы в минуту) — это объем прокачиваемого воздуха. То есть вашему серверу нужен воздух определенной температуры и в определенном объеме. Толстым шрифтом с капсом «в определенном объеме». Здесь мы сразу переходим к возможности использования бытовых сплит-систем в серверной. Штука вот в чем — они не справятся с необходимым объемом. Дело в том, что удельное тепловыделение человека несопоставимо мало по сравнению с сервером, а бытовые кондиционеры рассчитаны именно на создание комфортного климата для человека. Их маленькие вентиляторы (как передние конечности тираннозавра) не способны прогнать через себя объем воздуха, необходимого для охлаждения сервера. В результате мы получаем картину, когда сервер прогоняет через себя воздух, кондиционер не может его забрать и горячий воздух перемешивается с холодным. Вы, наверняка, бывали в серверной, где кондиционер выдает +16 градусов, а в помещении +28. Я бывал. Может быть, ваша серверная именно такая?
Ну и чтоб два раза не вставать:
1. Бытовые сплиты рассчитаны на работу 8/5, а серверная работает 24/7. Свой ресурс сплит выработает за год-полтора.2. Сплиты не умеют подавать воздух нужной температуры на сервер, они умеют выбрасывать из себя воздух нужной температуры, а уж что там попадет на сервер — им все равно (вот такие они гады).3. У них слишком близко расположены забор и выброс воздуха, а это значит, что горячий и холодный воздух неизбежно будет перемешиваться (и тут см. п.2).4. Очень трудно заставить сплиты работать в соответствии с показаниями датчиков температуры (и тут опять см. п.2).В общем, не используйте бытовые сплиты. Не надо. В продолжительном периоде, хороший прецизионный кондиционер выйдет дешевле сплита.
Что касается контроля влажности. В упомянутой вначале статье есть один неправильный посыл. Влажностью нужно управлять, это несомненно. Но только нужно не сушить, а увлажнять воздух. Дело в том, что серверное помещение имеет замкнутый воздухообмен (по-крайней мере должно). И количество влаги в воздухе на стадии 0 (запуск серверной) там находится в определенных пределах. В процессе охлаждения, большинство влаги конденсируется на теплообменнике кондиционера (слишком высока разница температур) и сбрасывается в дренаж. Воздух становится слишком сухим, а это статика на платах и снижение теплоемкости воздуха. Поэтому хорошей тратой денег будет покупка производительного увлажнителя и системы водоподготовки к нему.
Момент, связанный с управлением воздушными потоками. В подавляющем большинстве случаев, блоки вентиляторов в шкафах абсолютно бесполезны. Они тянут воздух снизу вверх, а сервера его тянут спереди назад. Что нужно сделать — выкинуть из сметы блоки вентиляторов и заложить заглушки на пустые юниты в шкафу. Хоть досками заколотите, но закройте все дыры, через которые воздух из задней части шкафа может попасть в переднюю. Пассивные способы управления воздухом в большинстве случаев работают лучше, чем активные. И стоят дешевле.Мониторинг микроклимата. Очень важный момент. Без мониторинга вы никогда не узнаете, что у вас работает не так, как задумывалось. Мониторить надо и температуру и влажность. Влажность можно мониторить в самой удаленной от увлажнителя точке, поскольку этот показатель одинаков для любой точки помещения. А вот температуру нужно мониторить на передней двери шкафа. Если вы не применяете раздачу холодного воздуха из-под фальш-пола, то достаточно одного датчика на шкаф. Если раздаете воздух через фальш-пол (понятно, что мы уже используем правильные кондиционеры), тогда верной сратегией будет мониторить воздух на разных уровнях от пола (например 0,5 м и 1,5 м). Ну и не лишним будет упомянуть, что в серверной никогда, ни при каких обстоятельствах, нельзя ставить шкафы со стеклянными/глухими дверями. Воздух должен свободно проходить сквозь шкаф и сервер. Если у вас вдруг есть такие шкафы — снимите с них двери.
В качестве резюме:1. Не используйте бытовые сплиты — они всё делают не так.2. Управляйте влажностью.3. И воздушными потоками.4. Установите заглушки на неиспользуемые юниты шкафа.5. Используйте шкафы с перфорацией передних и задних дверей. Если у вас нет таких, снимите двери вообще. Ну или дрель вам в руки.6. Правильно размещайте датчики системы мониторинга. Температуру меряем на передней части шкафа, влажность — в любой части помещения.7. Уберите из серверной батареи отопления. Они не только греют, но и поливают иногда.8. Уберите окна. Окна — это теплопритоки и самый простой путь в помещение, минуя бронированную дверь в серверную и пять постов охраны.9. Сделайте нормальную гидро- и паро- и теплоизоляцию помещения.10. Инструменты вторичны. Есть огромное количество решений по охлаждению и мониторингу. Главное понять что для вас первично на сегодня, а инструмент найдется.11. Примите тот факт, что сегодня ИТ — это не только «пропатчить kde под free bsd», VM и БД, но и такие далекие когда-то вещи как энергетика, холодоснабжение, физическая безопасность и архитектура.
Удачи вам ниве строительства правильной инфраструктуры.
