Полное погружение: как мы в Bitfury охлаждаем ASIC-чипы
Расскажем, как работает технология иммерсионного охлаждения оборудования в дата-центрах. Поговорим о нашем решении, разработанном совместно с дочерней компанией Allied Control, и приведем примеры других «жидкостных» способов «сбить температуру» у чипов.
/ Bitfury
Зачем нужны новые технологии охлаждения
Как пишут в журнале Nature, все дата-центры в мире потребляют порядка 200 ТВт·ч электроэнергии ежегодно. Это количество сравнимо с расходом электричества некоторых отдельно взятых стран, например Австралии. Также ЦОДы являются одним из главных загрязнителей окружающей среды. На них приходится 0,3% мировых выбросов CO2. Цифра кажется небольшой, но столько же углекислого газа «генерируют» самолеты всех авиакомпаний мира.
Почти половину потребляемой электроэнергии дата-центры тратят на охлаждение серверного оборудования. По этой причине многие компании разрабатывают технологии, которые должны сократить «расход» электричества и повысить эффективность систем кондиционирования.
Этим вопросом занимается и Bitfury. Совместно с дочерней компанией Allied Control мы создали двухфазную иммерсионную систему охлаждения. Она предназначена для работы в высоконагруженных ЦОД, потребляющих большие объемы электроэнергии во время обработки больших объемов данных (например, майнинговых фермах).
Система потребляет меньше электричества и занимает меньше места, по сравнению с традиционными кондиционерами для охлаждения воздуха. Это связано с тем, что печатные платы, предназначенные для охлаждения иммерсионным способом, не имеют радиаторов. Компоненты на них можно размещать более плотно.
Так как серверы (в нашем случае ASIC-чипы) погружены в жидкость, дата-центр становится практически бесшумным. Такие системы охлаждения помогают ЦОД предоставить сотрудникам более комфортные условия для работы. Иммерсионное охлаждение внедрено в нашем дата-центре мощностью 45 МВт в Грузии. Это одно из крупнейших внедрений иммерсионного охлаждения в настоящее время. Мы подготовили короткое видео, в котором рассказываем о возможностях системы охлаждения:
Как работает решение
Серверное оборудование помещается в большие резервуары, похожие на аквариумы. Они заполнены специальной жидкостью 3M Novec 7100. Она не проводит электричество, не горит, не выделяет токсинов и не наносит вреда серверам. По этой причине жидкости бренда 3M еще называют «сухой водой».
Охлаждение оборудования происходит в два этапа. Микросхемы нагреваются и выделяют тепло, жидкость Novec закипает и превращается в пар. Испарения поднимаются к змеевику конденсатора, который имеет форму цилиндрической пружины.
Затем наступает вторая фаза — змеевик (сам он имеет водяное охлаждение) превращает пар в жидкость, и она стекает обратно в резервуар. Процесс конденсации занимает очень мало времени, так как Novec 7100 кипит всего лишь при 61°C. Такой подход позволяет экономить до 95% энергии с минимальными потерями жидкости.
Новая система охлаждения позволяет снизить коэффициент PUE дата-центра до 1,02 и повысить плотность размещения оборудования — для охлаждающих установок не нужно выделять дополнительные площади. «Холодильная система» сама выполняет роль стойки и эффективно справляется с 40 мегаваттами вычислительной мощности (252 кВт на стойку) без чрезмерного расхода электричества.
Альтернативные способы охлаждения
Как мы уже говорили, разработка систем иммерсионного охлаждения занимаются многие мировые компании. Одной из популярных технологий является погружение оборудования в минеральное масло, которое удаляет излишки тепла. Например, такое решение используют в компании Green Revolution Cooling. В качестве теплопроводящей жидкости они применяют прозрачную смесь минеральных масел ElectroSafe. По словам авторов проекта, такой подход в тысячу раз эффективнее охлаждения воздухом, а мощность системы достигает 100 КВт на стойку.
Принцип работы масляных установок похож на тот, что используем мы в Bitfury, только для отведения тепла здесь требуются дополнительные насосы для перекачки хладагента (масло более вязкое, чем вода). В нашей системе циркуляция «сухой воды» происходит пассивно, за счет тепла, выделяемого при работе ASIC-чипов.
Но бывают и подходы, когда дата-центр затапливают целиком, погружая в океан. В этом случае вода поступает к радиаторам на чипах через специальные трубки и удаляет излишки тепла. Отработанная жидкость поступает обратно в водоем. Однако значительного вреда экосистеме это не наносит — вода вокруг погруженного дата-центра нагревается всего на несколько тысячных градусов Цельсия.
Первый прототип такого ЦОД «затопили» в Тихом океане пять лет назад недалеко от побережья Калифорнии. Он проработал без перебоев 105 дней. В этом году компания отправила «на дно» второй экспериментальный дата-центр. Погружение проходило недалеко от Оркнейских островов, расположенных в 16 км от Шотландии. По плану, ЦОД должен проработать пять лет. Если всё пройдет удачно, под воду уйдет уже «боевой» дата-центр, который используют для решения реальных задач.
Главный недостаток подхода — сложность ремонта и обновления инфраструктуры. Также такой ЦОД подвержен коррозии и атакам морских обитателей. Но компания работает над устранением этих проблем.
Мы убеждены, что из-за роста цен на электроэнергию и необходимости внедрения новых «зеленых» технологий в будущем все больше компаний начнут внедрять системы иммерсионного охлаждения. Тренд уже наметился, и со временем он будет развиваться все сильнее.
P.S. Наш первый хабрапост на английском: How Exonum Shifted from Iron to Actix-web.
