Как дата-центры меняются прямо сейчас: Технологические решения для ЦОД
/ фото PROIntel Free Press CC
Между майскими праздниками мы опубликовали пост об истории 1cloud, в нем мы постарались передать свой опыт выбора направления для развития ИТ-проекта. Помимо этого мы рассказали о плюсах и минусах виртуальной ИТ-инфраструктуры в целом и о том, как дата-центры меняются прямо сейчас (сегодня мы продолжим эту тему).
По прогнозам IDC, объем данных, которое генерирует человечество, удваивается (немного об этом в ином разрезе) каждые два года и к 2020 году достигнет объема 44 зеттабайт. Все это «хозяйство» нужно где-то хранить и обрабатывать.
Согласно Emerson, уже в 2011 году в мире насчитывалось 509 147 дата-центров, которые занимали площадь в 27 квадратных километров. С тех пор эти цифры только выросли. Выросли и объемы накапливаемых данных.
Чтобы справиться с увеличивающимся «информационным комом», компании предлагают новые технологии хранения данных: увеличивают емкости жестких дисков, работают над созданием твердотельных накопителей с использованием флеш-памяти и другими энергонезависимыми технологиями.
В 2015 году прошла выставка Flash Memory Summit, на которой публика получила возможность познакомиться с новыми технологическими решениями. Вице-президент компании Samsung Джим Эллиот (Jim Elliott) анонсировал начало продаж новой 256-гигабитной 48-слойной микросхемы с ячейками, хранящими по три бита информации.
Если верить Эллиоту, то эти чипы обладают скоростью чтения, в два раза превышающей возможности старых 128-гигабитных устройств, при этом потребляя на 40% меньше энергии. Свою разработку 256-гигабитного чипа с многоярусной структурой размещения кристаллов представил и концерт Toshiba. Здесь микроэлемент передает параллельно поступающие данные из массивов памяти прямо на микроконтроллер с помощью сквозных отверстий через кремний.
Отдельно стоит упомянуть два главных технологических тренда конференции. Первый — это энергонезависимая память 3D Xpoint, разработанная компаниями Intel и Micron. По словам аналитика Дэйва Эглстона (Dave Eggelston), технология основана на элементах с изменением фазового состояния и переключателе с памятью на элементах Овшинского, что позволяет получить память с объемом большим, чем у DRAM, и производительностью превышающей возможности флеш-памяти.
Второй тренд носит называние in-memory computing или вычисления в оперативной памяти. Участники саммита отметили, что при переходе на программное обеспечение, которое хранит данные в памяти (например Spark), имеет смысл использовать для вычислений DIMM, а не ЦП.
«Если все продолжит двигаться в этом направлении, то в будущем 90–95% вычислений будут выполняться внутри постоянного кэша», — заявил генеральный директор Tegile Systems Рохит Кшетрапал (Rohit Kshetrapal). В Micron с этим заявлением согласны. И это не удивительно, ведь компания как раз работает над технологией Hybrid Memory Cube, где кристалл процессор/интерфейс включен в блок элементов памяти.
При изготовлении чипов применяется технология TSV, предусматривающая создание медных каналов в многоуровневой структуре, которые выступают в роли проводников и соединяют между собой модули памяти, расположенные друг над другом. По заявлениям разработчиков, по сравнению с DDR3 HMC предоставляет 15-кратное увеличение производительности при уменьшенном на 70% энергопотреблении.
Уже в ближайшем будущем эти технологии кардинальным образом изменят наши представления об инфраструктуре дата-центров.
/ фото Roy Niswanger CC
Охлаждение дата-центров
С учетом того, что современные чипы выделяют большое количество тепла, а плотность их компоновки в современных серверах неуклонно увеличивается, компании, содержащие дата-центры, и другие крупные вендоры ищут способы повысить эффективность охлаждения.
Уже существуют устройства хранения, задача которых снизить интенсивность потоков необходимого холодного воздуха. Одна из таких технологий — гелиевые жесткие диски. Гелий облегчает движение механических компонентов, поэтому они меньше греются, а сам HDD потребляет на 33% меньше электроэнергии.
Однако помимо устройств хранения в дата-центрах установлены несколько десятков тысяч серверов, которые тоже нужно охлаждать. Одним из способов охлаждения серверов ЦОД является забор внешнего воздуха «с улицы». Но, как показывает практика, применение подобных технологий возможно не везде.
Экологическая обстановка в Китае оставляет желать лучшего, что приводит не только к проблемам со здоровьем жителей, но и усложняет работу ИТ-инфраструктуры. В частности, с проблемами столкнулся китайский поисковик Baidu.
Три дата-центра Baidu расположены в Пекине, который печально знаменит своим смогом. В смоге содержатся множество вредных веществ (диоксид серы, оксид азота) и твердых частиц, поэтому такой воздух непригоден для охлаждения машинного зала и способен вызвать учащение аппаратных сбоев.
Специалисты Baidu работают над системами охлаждения, которым не требуется воздух снаружи здания. Например, ведется работа над технологией Bottom Cooling Unit. В этом случае теплообменные змеевики располагаются непосредственно под стойками с оборудованием, в отличие от традиционных централизованных вентиляторных систем; сами же стойки размещаются в специальных шкафах.
Благодаря такой конструкции холодный воздух устремляется прямиком к «железу». Несмотря на то, что для охлаждения здесь используется жидкость, размещение змеевиков под стойками исключает возможность заливания водой оборудования в случае утечки.
В сторону водяного охлаждения смотрит и компания eBay. Но её цель куда более прагматичная, в отличие от китайских коллег, — разместить больше вычислительной мощности на единицу площади.
В машинном зале центра обработки данных Phoenix установлены 16 рядов стоек, каждая из которых вмещает серверы суммарной мощностью 30–35 кВт. Ранее для охлаждения использовались шесть продувных аппаратов, установленных в каждом ряду, которые занимали рабочее пространство.
Недавно компания модифицировала зал, отказавшись от воздушного продувного охлаждения в пользу водяного охлаждения задней двери с холодильными агрегатами Motivair. Это позволило «отвоевать» занятые шесть стоек и поставить на их место новые серверы, увеличив вычислительную мощность.
Охлаждающие двери Motivair — это активные модули со своими собственными высокоэффективными электронно-коммутируемыми вентиляторами, усиливающими циркуляцию воздуха в стойке сквозь змеевики охлаждения. Более того, система может работать с теплой водой, температура которой достигает 15°C (в других холодильных системах эта температура составляет 7°C).
И здесь возникает вопрос, а нужно ли так серьезно подходить к охлаждению дата-центров? Ведь до сих пор не понятно, на каком уровне стоит поддерживать в них температуру. Большинство компаний устанавливает температуру, рекомендуемую поставщиками используемого оборудования, однако не ясно, как её повышение сказывается на работоспособности систем.
Группа ученых Университета Торонто провела исследование, чтобы определить, как управлять температурой в дата-центрах. Считается, что при повышении температуры в машинном зале производительность серверов снижается. Действительно, когда температура достигает критической отметки, процессор входит в режим дросселирования тактов (тротлинг), а скорость вращения кулеров увеличивается, что приводит к дополнительным утечкам мощности и повышению энергопотребления.
Однако повышение температуры всего на 1 градус сокращает энергопотребление на 2–5% и экономит огромное количество средств на электроэнергию.
Ученые собрали данные о трех моделях жестких дисков, установленных в дата-центрах Google, и определили, что между вероятностью возникновения LSE и температурой наблюдается линейная зависимость, а не экспоненциальная, как принято считать (стандартные модели, например модель, основанная на уравнении Аррениуса, предполагает, что на каждые дополнительные 10–15°C происходит удвоение числа отказов). Аналогичный вывод справедлив и для оперативной памяти.
Оказывается, что температура гораздо меньше влияет на надежность работы аппаратуры, чем предполагается. Но теперь, принимая во внимание результаты проведенного исследования, возможно, имеет смысл слегка поднять температуру в машинном зале.
По этой причине некоторые корпорации и крупные компании применяют метод охлаждения, получивший название hot water cooling. Все та же компания eBay развернула на крыше дата-центра модульные контейнеры Dell, охлаждаемые водяным контуром с температурой 30 градусов по Цельсию, который все также удерживает температуру серверов в безопасном рабочем диапазоне.
Похожее решение использовала компания IBM в суперкомпьютере для Швейцарского государственного технологического института Цюриха (ETH Zurich). Там используется система охлаждения Aquasar, состоящая из медных трубок с горячей водой, подведенных к радиаторам вычислительных элементов.
Температура воды в трубках составляет 60°С, а температура радиаторов процессоров 85°С. Проходя по контуру, вода нагревается до 65°С, затем остывает обратно до 60°С в теплообменнике, после чего процесс повторяется. Весь цикл занимает примерно 20 секунд.
По заявлениям IBM, по сравнению с системами воздушного обдува, где для охлаждения воздуха используется вода с температурой 7–10°С, такая водяная система охлаждения потребляет на 40% меньше энергии. Также стоит отметить, что воду из трубок можно использовать для подогрева полов и стен в соседних помещениях.
P.S. Мы стараемся делиться не только собственным опытом работы над сервисом по предоставлению виртуальной инфраструктуры 1cloud, но и рассказывать о смежных областях знаний в нашем блоге на Хабре. Не забывайте подписываться на обновления, друзья!
