Фрикулинг в дата-центрах Selectel: как все устроено
Привет, Хабр! Пару недель назад выдался жаркий денек, который мы обсуждали в «курилке» рабочего чата. Буквально через несколько минут разговор о погоде перерос в беседу о системах охлаждения дата-центров. Для технарей, тем более сотрудников Selectel, в этом нет ничего удивительного, мы постоянно говорим на подобные темы.
В процессе обсуждения мы решили опубликовать статью о системах охлаждения в дата-центрах Selectel. Сегодняшняя статья — о фрикулинге, технологии, применяющейся в двух наших дата-центрах. Под катом — подробный рассказ о наших решениях и их особенностях. Техническими деталями поделились руководитель отдела сервисного обслуживания систем кондиционирования и вентиляции Леонид Лупандин и старший технический писатель Николай Рубанов.
Системы охлаждения в Selectel
Здесь коротко о том, какие системы охлаждения используем во всех своих объектах. К фрикулингу перейдем в следующем разделе. У нас несколько дата-центров в Москве, Санкт-Петербурге и Ленинградской области. Погодные условия в этих регионах разные, поэтому мы используем различные системы охлаждения. Кстати, в московском дата-центре часто поводом для шуток было то, что ответственные за охлаждение — специалисты с фамилиями Холодилин и Мороз. Так получилось случайно, но все же…
Вот список ДЦ с используемой системой охлаждения:
- Берзарина — фрикулинг.
- Цветочная 1 — фреон, классические промышленные кондиционеры для ЦОД.
- Цветочная 2 — чиллеры.
- Дубровка 1 — чиллеры.
- Дубровка 2 — фреон, классические промышленные кондиционеры для ЦОД.
- Дубровка 3 — фрикулинг.
В своих дата-центрах мы стремимся поддерживать температуру воздуха у нижней границы рекомендованного по ASHRAE диапазона. Это 23°C.
О фрикулинге
В двух дата-центрах, Дубровка 3 и Берзарина, мы установили системы фрикулинга, причем разные.
Система фрикулинга в ДЦ Берзарина
Основной принцип систем фрикулинга — отказ от теплообменников, так что охлаждение вычислительного оборудования происходит за счет обдува при помощи уличного воздуха. Он очищается при помощи фильтров, после чего поступает в машинный зал. Осенью и зимой холодный воздух нужно «разбавлять» теплым, чтобы температура воздуха, которым обдувается оборудование, не менялась. Летом в Москве и Санкт-Петербурге требуется доохлаждение.
Регулируемые воздушные заслонки
Почему фрикулинг? Да потому что это эффективная технология охлаждения оборудования. Системы фрикулинга в большинстве своем дешевле в эксплуатации, чем классические системы охлаждения с кондиционерами. Еще один плюс фрикулинга в том, что системы охлаждения оказывают не такое сильное негативное влияние на окружающую среду, как кондиционеры с фреоном.
Схема прямого фрикулинга с доохлаждением без фальшпола
Важный момент: фрикулинг используется в наших дата-центрах вместе с системами доохлаждения. Зимой проблем с забором внешнего холодного воздуха нет — за окном прохладно, иногда даже очень, поэтому дополнительные системы охлаждения не нужны. А вот летом температура воздуха повышается. Если бы мы использовали чистый фрикулинг, то температура внутри составляла бы около 27 °C. Напомним, что температурный стандарт у Selectel составляет 23°C.
В Ленинградской области многолетняя среднесуточная температура даже в июле находится у отметки 20°C. И все бы ничего, но в некоторые дни очень жарко. В 2010 году в области был зафиксирован температурный рекорд в +37.8°C. Учитывая это обстоятельство, полностью рассчитывать на фрикулинг нельзя — одного жаркого дня в году с лихвой хватит для выхода температуры за границы стандарта.
Поскольку Санкт-Петербург и Москва — мегаполисы с загрязненным воздухом, мы применяем тройную его очистку при заборе с улицы — фильтры стандартов G4, G5 и G7. Каждый последующий отсеивает пыль все более мелких фракций, так что на выходе у нас чистый атмосферный воздух.
Воздушные фильтры
Дубровка 3 и Берзарина — фрикулинг, но разный
По ряду причин мы используем разные системы фрикулинга в этих дата-центрах.
Дубровка 3
Первым ДЦ с фрикулингом была Дубровка 3. Здесь используется прямой фрикулинг, дополненный АБХМ, абсорбционной холодильной машиной, которая работает на природном газе. Машина применяется как доохлаждение на случай летней жары.
Охлаждение дата-центра по схеме фрикулинга с фальшполом
Такое гибридное решение позволило добиться PUE ~1.25.
Почему АБХМ? Это эффективная система, где вместо фреона используется вода. АБХМ оказывает минимальное воздействие на окружающую среду.
В качестве источника энергии АБХМ-машина использует природный газ, который подведен к ней трубопроводом. Зимой, когда машина не нужна, газ можно сжигать для подогрева переохлажденного наружного воздуха. Это намного дешевле, чем использовать электричество.
Вид на АБХМ
Идея использовать АБХМ в качестве системы доохлаждения принадлежит одному из наших сотрудников, инженеру, который увидел подобное решение и предложил применить в Selectel. Мы сделали модель, протестировали ее, получили отличный результат и решили его масштабировать.
Строилась машина около полутора лет, вместе с системой вентиляции и самим ЦОД. В 2013 году она была введена в эксплуатацию. Проблем с ней практически нет, но для работы нужно пройти дообучение. Одна из особенностей АБХМ в том, что машина поддерживает разность давлений внутри и снаружи помещения ДЦ. Это нужно для того, чтобы горячий воздух выходил через клапанную систему.
Из-за разности давлений пыли в воздухе практически нет, поскольку она просто вылетает наружу, даже если появляется. Избыточное давление выталкивает частицы.
Расходы на техническое обслуживание системы, возможно, чуть выше, чем в случае обычного охлаждения. Но АБХМ позволяет экономить за счет снижения расхода электричества на нагрев воздуха и его доохлаждение.
Берзарина
Схема движения воздушного потока внутри серверного помещения
Здесь используется фрикулинг с адиабатической системой доохлаждения. Она применяется летом, когда воздух становится слишком теплым, с температурой выше 23°C. В Москве это случается нередко. Принцип работы адиабатической системы — охлаждение воздуха при прохождении через фильтры с жидкостью. Представьте себе мокрую тряпку, с которой испаряется вода, охлаждая ткань и прилегающий слой воздуха. Примерно так и работает адиабатическая система охлаждения в дата-центре. На пути воздушного потока распыляются мельчайшие капли воды, что снижает температуру воздуха.
Принцип работы адиабатического охлаждения
Здесь фрикулинг решили использовать, потому что дата-центр расположен на последнем этаже здания. А значит, выбрасываемый наружу нагретый воздух сразу уходит вверх, а не подавляет другие системы, как это могло бы случиться, будь ДЦ размещен на нижних этажах. Благодаря этому показатель PUE ~1.20
Когда этот этаж освободился, мы обрадовались, поскольку получили возможность проектировать все, что хотим. Главной задачей было создание ДЦ с эффективной и недорогой системой охлаждения.
Плюс адиабатического охлаждения в простоте самой системы. Она проще, чем системы с кондиционерами и еще проще, чем АБХМ, и позволяет экономить энергию, затраты которой минимальны. Тем не менее, ее необходимо тщательно контролировать, чтобы не получилось, как у Facebook в 2012 году. Тогда из-за проблем с настройкой параметров работы в дата-центре образовалось самое настоящее облако и пошел дождь. Это не шутка.
Щиты управления
Система работает всего второй год, за это время мы выявили ряд небольших проблем, которые устраняем с проектировщиками. Но это не страшно, поскольку в наше время важно постоянно быть в поиске чего-то нового, не забывая проверять уже имеющиеся решения.
Мы постоянно ищем возможности применения новых технологий. Одно из них — оборудование, которое нормально работает при температуре выше 23°. Возможно, расскажем об этом в одной из будущих статей, когда проект выйдет на финальную стадию.
Если хотите узнать подробности о других системах охлаждения в наших ДЦ, то вот статья со всей информацией.
В комментариях задавайте вопросы, постараемся ответить на все, что сможем.
