ЦОД с гарантией
Для размещения оборудования мы используем несколько дата-центров и решили создать серию материалов о системе жизнеобеспечения одного из них.
DataPro на улице Авиамоторная относится к самым надежным ЦОДам Tier III, является одним из немногих коммерческих ЦОД в России, получивших сертификацию Uptime Design и Facility. Сегодня мы немного расскажем о проекте и максимально подробно рассмотрим техническую реализацию и особенности системы энергоснабжения.
Немного о проекте DatoPro
ЦОД на Авиамоторной, 69 это второй дата-центр, построенный компанией DataPro, специализирующейся именно на оказании услуг коммерческих ЦОД.
Международная сертификация Uptime Design и Facility означает, что ЦОД спроектирован и построен в соответствии со всеми действующими стандартами для категории надежности Tier III. Следующим уровнем в 2016 г. станет сертификация Uptime Operations, подтверждающая соответствие всех реализуемых в дата-центре процедур и регламентов сформированным требованиям. Максимальное время простоя для ЦОДа такого уровня — 1,6 часов в год.
Центры Обработки Данных призваны обеспечивать бесперебойную работу всех критически важных IT-процессов компании. Недооценка и переоценка влияния времени простоя одинаково негативно сказываются на затратах, поскольку финансовые потери возможны в обоих случаях — либо при простое критически важных систем и остановки бизнеса, либо из-за неоправданной переплаты за сервис.
Уровень Tier I, согласно Uptime Institute, это специально выделенная инфраструктура ЦОД без резервирования. Обычно это один-два кондиционера и ИБП без дизеля. Если что-то ломается или нет электричества — это является аварийной ситуацией. Любое обслуживание — простой в оказании услуг. Цена вопроса около 10000 долларов капитальных затрат на стойку 5 кВт.
Tier II предусматривает основное резервирование, то есть системы электропитания и охлаждения имеют резервные компоненты и мощности. Обычно это несколько кондиционеров в режиме N+1, один промышленный ИБП и возможно дизель. Электричество подается через АВР от 1–2 вводов. Помещение — комната или ангар, как правило в аренде. Обслуживание часто затрудненно или создает опасность аварии при проведении даже регламентных работ. Цена вопроса около 20000 долларов капитальных затрат на стойку 5 кВт.
Tier III означает резервирование всех инженерных подсистем, возможность проведения любых операций, плановых ремонтных работ и замены оборудования без остановки сервисов. Это означает N+2 по кондиционерам, 2 ввода на стойку от разных ИБП, резерв по дизелям, два ввода и специально подготовленное помещение в собственности. Цена вопроса около 30000 долларов капитальных затрат на стойку 5 кВт без учета цены недвижимости.
Наконец, Tier IV означает отказоустойчивость, способность выдержать однократное незапланированное чрезвычайное событие, например, пожар или взрыв.
Если ЦОД первого уровня не предусматривает избыточности, то на втором добавляется резервирование основных инженерных систем, но не «путей доставки» сервиса — электроэнергии и каналов сетей передачи данных. Резервирование последних реализуется в ЦОД третьего уровня, что позволяет проводить регламентные работы без его остановки. Четвертый уровень предполагает резервирование (N+1 и выше) всех основных систем и отказоустойчивость при наступлении наихудшего события. Среднее расчетное ежегодное время простоя ЦОД различается от 28,8 ч для первого уровня до 0,8 ч для ЦОД четвертого уровня, а фактически наблюдаемый коэффициент готовности — от 99,67 до 99,99%.
Таким образом, в дата-центре с уровнем надежности Tier III возможна одновременно эксплуатация и техническое обслуживание центра обработки данных вплоть до замены компонентов системы и вышедшего из строя оборудования, добавление систем. Это дает возможность проводить плановые ремонтные работы и замену оборудования без остановки сервисов — незаметно для клиентов.
Резервирование всех инженерных подсистем (Concurrent Maintainability) значительно повышает уровень надежности ЦОД. Чтобы достичь такого уровня, необходимо спроектировать и построить два трубопровода для системы охлаждения, обеспечить резервными мощностями работу всего оборудования с учетом выхода из строя или профилактики системы электроснабжения. В таком ЦОД имеется несколько путей распределения электропитания и охлаждения, но лишь один из них активен. В ЦОД Tier III компоненты резервируются по схеме «N+1». В результате коэффициент отказоустойчивости составляет 99,982%, что выражается в возможном времени простоя за год в 1,6 часа.
В 2015 году ЦОД DataPro на Авиамоторной был отмечен наградой как лучший проект года. В сентябре состоялось первое в России вручение наград профессиональной премии в области строительства ЦОД. В конкурсной программе участвовали 19 ЦОД, претендующих на призы в пяти номинациях. Международное жюри признало ЦОД компании DataPro самым масштабным и инновационным и присудило DataPro главную премию Russian Data Center Awards 2015.
Несмотря на очень сложные условия на рынке, за счет гибкости стратегии менее чем за год DataPro удалось выйти на высокий уровень заполняемости. Первая очередь ЦОД DataPro на 850 стоек (восемь машинных залов) уже заполнена на 80%. Сейчас дан старт строительству второй очереди на 500 стоек. Потенциальная емкость объекта — 3000 стоек. В планах — строительство еще одного ЦОД в Москве на 1000 стоек.
Участие опытной команды проектировщиков позволило сделать выбор в пользу модульной архитектуры наряду с применением одних из самых современных и энергоэффективных инженерных решений в области строительства ЦОД. В России сейчас лишь три-четыре подобных площадки.
Клиенты DataPro арендуют от 1 до 100 стоек. Важная задача для владельцев коммерческих ЦОД — научиться работать с крупными высокотехнологичными заказчиками. Один из таких якорных клиентов DataPro — Mail.Ru Group. Эта компания придерживается стратегии аренды коммерческих ЦОД, а не строительства собственных — она фокусируется на собственных бизнес-целях, не залезая в сложную и дорогую инфраструктуру. Еще один известный клиент — РБК, арендующий несколько десятков стойко-мест. Есть среди клиентов и значительное число известных международных компаний уровня Samsung, Chronopay и т.п. Имеются и гоcзаказчики, но доля таких заказчиков в бюджете ЦОД пока невелика.
Почему стоит размещать оборудование в сертифицированном дата-центре Tier III?
Для решения большинства задач — это единственный вариант, при котором не нужно искать какие-то компромиссы.
Сертификаты международного института Uptime Institute невозможно купить. Все используемые технологии и решения сертифицированы, это гарантирует максимальную отказоустойчивость ЦОД для обеспечения непрерывности бизнеса клиентов. Все это обуславливает гарантированную доступность ресурсов и является страховкой от возникновения неожиданных ситуаций.
В конечном итоге стоимость размещения оборудования в дата-центре такой такого уровня может быть несколько выше. За что платит пользователь?
Стоимость обусловлена не просто так, пользователь платит не за «статус», а за уверенность в доступности ресурсов, подтвержденную профессионалами.
Соответственно, в этом случае приходится тратить массу времени и денег на погружение в ЦОДостроительство, проектирование и реализацию. При этом обязательным наличие подобного опыта, т.к. в дальнейшем может оказаться много «подводных» камней и «грабель». Принимая такое решение компания довольно сильно рискует получить дорогую и капризную игрушку.
Размещение оборудования в несертифицированном ЦОДе
Этот вариант чаще всего выбирают в условиях ограниченного бюджета. Но, чтобы выбрать лучший вариант, также предстоит стать экспертом в ЦОДостроительстве, т.к. проводить оценку инфраструктуры дата-центра и условий размещения придется самостоятельно.
Размещение оборудования в сертифицированном дата-центре Tier III DataPro позволит гарантировать, что системы жизнеобеспечения отказоустойчивы, а возможность возникновения форс-мажоров стремится к нулю.
Одна из главных проблем ИТ-аутсорсинга в нашей стране — это проблема доверия к поставщику услуг. При выборе дата-центра нужно обращать внимание не только на сертификацию ЦОД, но и на прозрачность бизнеса аутсорсера, наличие у него прямого права собственности на здание, разрешения на выделенные мощности по электроэнергии, долгосрочную регистрация примыкающей территории, возможность дальнейшего развития площадки. DataPro отвечает этим требованиям. Здание дата-центра находится в собственности DataPro — клиенты застрахованы от многих неожиданностей, так как никто не застрахован от форс-мажорных ситуаций, довольно обычны случаи, когда владельцы здания или городские власти выселяли ЦОД на улицу с уведомлением за 1–2 месяца.
Для финансового сектора. Спросу на услуги ЦОД Tier III способствует наличие в России соответствующих четких регулирующих норм для финансовых учреждений. Вместе с тем увеличивается и количество ложных заявления компаний о наличии у них ЦОД «уровня» Tier III. Иногда говорят о «совместимости» с требованиями сертификата международного уровня надежности Tier III. Ведь сертификация дата-центра становится выгодным конкурентным отличием.
Из сего складывается стоимость?
Проектирование
Здесь все понятно, чем выше компетенция и опыт разработчиков, тем выше стоимость проекта.
Непосредственно строительство
Все зависит от изначального проекта — стоимости недвижимости, используемых инженерных систем, и предполагаемого резервирования и т.п.
Если взять ориентировочные суммарные затраты на покупку элементов инженерных систем и их инсталляцию, получится, что, без учета недвижимости, ввод в эксплуатацию одной стойки 5 кВт обходится:
- Для ЦОД Tier I — около 10000 долларов
- Для ЦОД Tier II — около 20000 долларов
- Для ЦОД Tier III — около 30000 долларов
Эксплуатация
Сюда входят затраты на коммунальные платежи, фонд оплаты труда, амортизация оборудования, проведение технического обслуживания и т.п. Логично, что чем выше категория надежности ЦОДа, тем выше и эксплуатационные расходы. Ведь, например, для проведения регламентных работ чаще всего привлекаются сторонние сертифицированные специалисты. Также стоит отметить, что значимым фактором, влияющим на эксплуатационные расходы, является масштаб проекта — чем крупнее проект, тем дешевле обходится обслуживание в расчете на одну стойку (при прочих равных условиях).
Сертификация
Казалось бы, подумаешь, получить сертификат. Но на практике это очень длительный и трудоемкий процесс.
Процесс оценки качества проекта со стороны Uptime Institute начинается с анализа документации, что и служит основанием для получения сертификата на дизайн-проект. На данном этапе проектная документация передается в Uptime Institute. В ней должны быть представлены ответы на конкретные вопросы, которые касаются всех инженерных систем, в том числе здания и планировки, топологии расположения телекоммуникационных и инженерных сетей, режимов работы оборудования и т.п.
Процесс получения сертификата Uptime Facility по плечу немногим — это дорого и занимает несколько месяцев упорной работы. Требуется проводить тестирование ЦОД под полной нагрузкой, для чего подключается «балласт» — резистивные нагрузочные модули эквивалентные нагрузке необходимой мощности, блоками по 500 кВт и выше. Для проверки машинных залов используются тепловые пушки. Имитируется отказ одной из систем охлаждения и электропитания. Проверяется как все работает на полной нагрузке, как происходят переключения под нагрузкой. Такое серьезное тестирование помогает выявить «узкие места» заранее, еще до ввода ЦОД в коммерческую эксплуатацию.
Инфраструктура DataPro
В последующих материалах мы подробно расскажем обо всех системах жизнеобеспечения этого ЦОД. А сегодня кратко рассмотрим основные элементы инфраструктуры и подробно поговорим об электроснабжении.
Средний размер машинного зала в ЦОД DataPro — 180 кв. м, он рассчитан примерно на 100 стоек или может быть разделен на несколько выгородок. Всего таких залов сейчас восемь. Здание предусматривает места для размещения технического персонала, для хранения оборудования, погрузки-разгрузки, организации питания. Клиенты могут не только арендовать стойко-места, но и создавать резервный офис, где критически важный персонал клиента продолжит работу в случае внештатной ситуации.
Для охлаждения серверных залов и вспомогательных технологических помещений ЦОД сейчас применяются 8 установок Ecobreeze производства Schneider Electric. Температурный режим в залах поддерживается на уровне +25°С при влажности 40–60%. Применение этой модульной системы холодоснабжения в сочетании с другими инженерными решениями позволило достичь высокого показателя PUE, итоговое среднегодовое значение которого не превышает 1,3. В следующей статье мы расскажем про Ecobreeze подробнее.
К дата-центру по двум независимым маршрутам проложены ВОЛС, связывающие его со всеми крупнейшими в Москве телекоммуникационными узлами связи и точками обмена трафиком. Политика технологической площадки нейтральна по отношению ко всем операторам связи. На площадке присутствуют более 10 операторов связи («Гарстелеком», «Мастертел», RETN, «Макомнет», «МТС», Beeline, Orange Business Services и т.п.).
Значительное внимание уделено безопасности: охрана отвечает за безопасности самого ЦОД и прилегающей территории. Система безопасности включает более 350 сетевых видеокамер. В дата-центре предусмотрены также передовые методы предупреждения возгорания: система сверхраннего обнаружения дыма Vesda и система автоматического газового пожаротушения на базе хладона-227.
Электроснабжение ЦОД
Электроснабжение — основа надежной работы ЦОД. Оно должно быть бесперебойным, для чего традиционно применяются источники бесперебойного питания (ИБП), и гарантированным, для чего используются дизель-генераторные установки (ДГУ), поддерживающие работу дата-центра при продолжительной аварии в электросети.
В ЦОД DataPro два независимых ввода 10 кВ от подстанции Мосэнерго, причем кабели проложены в разных коллекторах, обеспечивают подачу необходимой электрической мощности к объекту. Питание потребителей осуществляется посредством группы понижающих трансформаторов. Эти сухие трансформаторы постоянно находятся в работе при наличии питания от городской подстанции.
Сейчас разрешенная и подключенная мощность ЦОД — 6 МВт. Еще 8 МВт мощности — в процессе оформления. Электропитание ЦОД фактически резервируется по схеме 2N. Например, даже при 100% нагрузке при аварии щита электропитания, трансформатора, DRUPS весь машзал будет питаться от второго ввода/щита. Предполагается, что клиенты используют оборудование с резервируемыми блоками питания или стоечные АВР.
Здесь сосредоточены основные компоненты системы электропитания ЦОД. Справа — трансформаторы, слева дизель-роторные ИБП (DRUPS).
Для электропитания ЦОД используются сухие трансформаторы мощностью 1600 кВА каждый. Они преобразуют 10 кВ на входе в 0,4 кВ на выходе.
Часть схемы системы электропитания центра обработки данных.
Дизель-роторные ИБП
Традиционно при исчезновении напряжения городской сети батареи ИБП должны поддерживать питание оборудования до полного запуска ДГУ, который сможет обеспечить электроэнергией весь ЦОД. Этот процесс обычно занимает от 20–30 секунд до 2 минут, на которые и рассчитывают мощность ИБП и емкость батарей.
В ЦОД DataPro при его масштабе используется другой, более экономичный подход. Основными компонентами инфраструктуры ЦОД DataPro стали решения электроснабжения на дизель-роторных ИБП производства Hitec Power Protection (в настоящее время четыре агрегата) и Euro-Diesel (две машины). Сервисный контракт с двумя разными вендорами позволяет оптимизировать цены и сравнить сервис.
По сути, дизель-роторный или динамический ИБП (DRUPS) данных производителей — это собранные соосно на одном валу дизельный двигатель, электромагнитная муфта сцепления, синхронная электрическая машина и динамический маховик. Развязывающий дроссель соединяет вход сетевого напряжения с выходом «чистого» напряжения системы ИБП. Он обеспечивает высокую степень развязки между входом и выходом, блокируя прохождение гармоник и переходные процессы.
При наличии внешнего электропитания синхронная электрическая машина ИБП работает в режиме электродвигателя, вращая ротор маховика. При выходе параметров сети за установленные пределы она переходит в режим генератора, поддерживая непрерывное синусоидальное напряжение на нагрузке. Источником энергии во время переходного процесса является маховик, благодаря которому сохраняется устойчивая частота вращения вала ротора синхронной электрической машины. Маховик держит обороты до одной минуты при полной электрической нагрузке без дизеля.
После пропадания напряжения в сети система управления DRUPS подает сигнал на запуск дизельного двигателя. Кинетическая энергия маховика кроме поддержания выходного напряжения используется для вывода на рабочую частоту вращения коленчатого вала дизеля. Через 50 мс после отказа питания начинает работать дизель, который в течение нескольких секунд выходит на штатный режим работы — маховик уже крутится.
Автономное электропитание объекта в случае нарушения питания от подстанции обеспечивают дизель-роторные ИБП Hitec Power Protection по 1670 кВА со схемой резервирования 4/3N. И никаких аккумуляторов для питания ИТ-нагрузки.
Кабели электропитания и воздуховод системы вентиляции.
Раз в месяц производится запуск дизелей для проверки их работоспособности. Расчетный запас дизельного топлива в хранилище — 17 часов, с учетом неполной нагрузки машзалов это время значительно больше — до 60 часов. Далее топливо будет подводиться из Москвы и при необходимости из Рязани. С его поставщиками у DataPro заключены соответствующие контракты.
Для хранения топлива используются две емкости по 60 т, каждая из них заполнена наполовину. Это также сделано для резервирования: на случай аварии или ремонта топливопроводов и помп.
Голландская компания Hitec Power Protection — один из ведущих производителей решений бесперебойного питания на основе дизель-роторных ИБП. Именно она первой запатентовала идею ИБП с маховиком. Сейчас под защитой динамических ИБП Hitec Power Protection по всему миру находится парк оборудования общей мощностью более 1,6 млн кВА.
В российских дата-центрах DRUPS — пока что редкость, однако в мире системы на основе дизель-роторных ИБП благодаря своей простоте, надежности и энергоэффективности считаются хорошим решением для электроснабжения ЦОД большой мощности (от 1 МВт). А относительно малое количество компонентов и простота конструкции существенно повышают среднее время безотказной этого оборудования. Так у Hitec общий срок службы динамических ИБП составляет не менее 25 лет. При этом в зависимости от объема доступного топлива дизель-роторные ИБП обеспечивают резервное питание на любой промежуток времени.
Установка Hitec включает в себя: (1) дизельный двигатель, (2) обгонную муфту, (3) генератор, (4) накопитель энергии, (5) маховик. DRUPS Hitec оптимизированы по энергоэффективности, а заявленный КПД «вход-выход» у них составляет 97%.
Высокая энергоэффективность динамических ИБП достигается благодаря отсутствию необходимости в многократном преобразовании напряжения — выпрямители, инверторы и прочее. Отпадает и необходимость в дорогостоящих и опасных аккумуляторных батареях, а значит, и в специальном помещении для их размещения, в организации его кондиционирования и самое главное, в их регулярной замене каждые 3–5 лет.
Дизель-роторные ИБП считаются самым экономичным и энергоэффективным решением для обеспечения бесперебойного и гарантированного электроснабжения крупных ЦОД. До недавнего времени, по данным исследовательской компании Frost & Sullivan, роторные ИБП занимали не более 6% мирового рынка ИБП. Однако по прогнозам их доля должна существенно возрасти по мере увеличения размера ЦОД.
Отличительные особенности DRUPS.
Для дизель-роторного ИБП требуется в среднем на 40–60% меньше площади, чем аналогичным по характеристикам традиционным статическим ИБП с учетом ДГУ. Используется один блок DRUPS вместо системы из резервных ДГУ, статических ИБП, батарейных кабинетов, распределительных щитов, системы кондиционирования и пр. Площадь ЦОД используется оптимальным образом.
Благодаря DRUPS практически все проблемы с качеством питания находятся под контролем. Установка обеспечивает фильтрацию всех помех сети и нагрузки, питает ёмкостные и индуктивные нагрузки, при этом коэффициент мощности равен 0,98.
Электрическое питание из городской сети, проходя через дроссель, питает синхронный мотор-генератор. Вал генератора переменного тока вращается со скоростью 1500 об/мин. В обычном режиме работы синхронный генератор выполняет функцию стабилизатора и фильтра напряжения: устраняет гармонические искажения и перебои в питании, импульсные помехи, нивелирует скачки и провалы напряжения. Благодаря ему частота и амплитуда выходного напряжения, подаваемого на нагрузку, неизменно стабильны.
В отличие от статических ИБП, DRUPS оптимально использовать для электропитания кондиционеров, компрессоры которых характеризуются очень высокими стартовыми токами. DRUPS позволяют сократить инвестиции в систему кондиционирования, поскольку не требуют жесткого контроля микроклимата. Это влияет на сокращение эксплуатационных расходов и конечную стоимость аренды для потребителей.
Дизельный динамический источник бесперебойного питания имеет высокий уровень самодиагностики системы, позволяя своевременно отследить и предупредить неполадки. При выводе в ремонт одного из шести DRUPS ЦОД будет продолжать функционировать в обычном режиме, причем с резервированием. Нагрузка распределяется между остальными ИБП. Это проверялось даже при имитации полной нагрузки ЦОД. Учитывая неполную нагрузку машзалов (обычно она составляет не более 60% от проектной мощности), два DRUPS будут задействованы на начальном этапе ввода второй очереди ЦОД. Позднее планируется приобрести для второй очереди еще шесть DRUPS.
DataPro размещает проекты от одной стойки, также клиенту следует самостоятельно договариваться о сотрудничестве с операторами связи.
HOSTKEY является официальным розничным партнером DataPro. Если необходимо разместить оборудование, арендовать выделенные сервера или реализовать сложный конвергентный проект под высокий SLA в сертифицированном на Tier III ЦОД DataPro, обращайтесь.
Размещение в наших стойках 1U оборудования (современный сервер с любым блоком питания, не твин) с резервированным выделенным каналом доступа в Интернет 100Мбит/сек стоит 4000 руб. в месяц, включая НДС или всего 40000 руб. в год. Можно арендовать целую стойку, ½ или четверть стандартной стойки, в том числе и под пломбу. Мы поможем с установкой, подключением и предварительной настройкой переданного оборудования.
Мы предлагаем для аренды в DataPro любые выделенные серверы Supermicro или HP, дисковые полки HP/Dell и сетевую инфраструктуру (VLAN) от 100Мбит/сек до 10Гбит/сек (включая средства защиты и роутеры) по разумным ценам. Вы можете создать гибридное решение, состоящее из ваших серверов, арендованных серверов и сетевой инфраструктуры. Hostkey предоставляет высочайший SLA по обслуживанию собственного оборудования клиентов.
Специально для читателей этой статьи — сошлитесь на нее до конца февраля 2016 года и получите дополнительную скидку 10% на размещение или аренду оборудования в одном из лучших ЦОД Москвы — DataPro.
