ЦОД нашей мечты в Ярославле: фото строительства и запуска
Вид с высоты птичьего полётаМы давно хотели построить ЦОД, мощности которого хватит на ближайшие 10 лет. С декабря 2011 мы рассказывали о его проектировании и своих мечтах. Теперь время показать первые результаты. Ярославский Технический Центр имеет уровень надёжности TIER III по классификации Uptime Institute. Сегодня ЦОДов такого уровня в России меньше десятка.
Сейчас проводятся тесты водяной системы охлаждения, завершаются работы в помещениях магистральной сети. Полный запуск ожидается в первых числах декабря после завершения этих работ и согласования госорганов ввода в эксплуатацию офисной части. Осторожно, трафик.
ХронологияВ 2011 году было принято решения о строительстве Ярославского ЦОД ОАО «ВымпелКом». С октября 2011 по август 2013 делался и сертифицировался проект, мы об этом писали (ссылки в конце поста). В июне 2012 начался нулевой цикл строительства здания (подготовка площадки, фундамент и т.п.), в декабре — капитальное строительство. В августе 2013 мы начали монтировать техническое оборудование, а в октябре 2014 запустили первый модуль ЦОД в эксплуатацию.
Выглядит наш объект как комплекс зданий, куда входят: — главное здание; — энергомодули для размещения системы бесперебойного питания на дизель-динамических источниках бесперебойного питания; — распределительные подстанции; — контрольно-пропускной пункт; — котельная; — топливохранилища; — очистные сооружения; — различные вспомогательные постройки.
Схема центра
В целом, всё происходило по плану, несмотря на ранее согласованные сроки. Строительные работы начинались по мере выпуска проекта на каждый объект и согласования проектной документации государственными органами.
Активная фаза строительства началась в декабре 2012 года. К этому моменту у подрядчиков на руках был проект на все вспомогательные здания, внутриплощадочные сети; начали с энергомодулей и КПП. В феврале 2013-го начались работы по строительству главного здания, в сентябре начался монтаж технологического оборудования ЦОДа.
Фотоматериалы о процессе строительстваГлавное здание. Строительство фундамента:
Главное здание. Монтаж металлоконструкций центральной части здания и лестничных клеток:
Главное здание. Монтаж металлоконструкций — строительство ангара для модулей ЦОД. Длина пролёта — 40 метров:
Главное здание. Монтаж металлоконструкций — внутри каркаса здания возведена несущая конструкция модуля ЦОД:
Сладкий ноябрь. В прошлом году погода преподнесла подарок, благодаря которому мы начали монтировать машзал, практически, под открытым небом:
Такелажные работы по установке 23-тонного 3000-сильного дизельного двигателя 100-тонным краном:
Дизельный двигатель на штатном месте:
Монтаж трубопроводов системы водяного охлаждения:
Монтаж одного из трёх чиллеров, мы их ласково зовём паучками:
Строительство машзала:
Монтаж структурированной кабельной сети в модуле ЦОД:
Ярославский технический центр в цифрах:
Инженерные сложности В строительстве, как в любом другом проекте, может случиться что-то неожиданное (сбой поставки материалов, болезнь целой бригады рабочих, плохие погодные условия, несчастный случай и многое другое), из-за чего остановится работа сначала одной субподрядной организации, а затем, потенциально, и всей стройки. Эти риски «перемноженные» на количество подрядных организаций обуславливают вероятностный характер процесса строительства. Вероятностный характер принимает экстремальный вид, когда проект инновационный, и его участники должны решать задачи, с которыми ранее никогда не сталкивались. Как раз наш случай.Сюрпризы бывают «штатные», которые укладываются в горизонты планирования, а бывают такие, которые требуют изменения проекта по ходу исполнения. Одной из наиболее сложных и ответственных задач был отказ от традиционной бетонной кровли, на которой изначальной планировалось установить металлоконструкцию цвета нашего полосатого логотипа. Выбор был сделан в пользу мягкой кровли с чёрно-жёлтой мембраной уже после начала активной фазы строительства. Такое решение позволило существенно снизить нагрузку на каркас здания и фундамент, что позволило сэкономить бюджет на материалах и оптимизировать сроки выполнения работ.
Одним из сюрпризов для проектировщиков стало осознание того, что такое глушитель дизель-генератора мощностью три тысячи лошадиных сил. На заводе в Германии во время приемки оборудования динамической системы бесперебойного питания, мы все фотографировались на фоне какой-то «подводной лодки», а потом подошёл сотрудник и сказал: «А это, ребята, ваш глушитель». Длина — 5,7 метров, масса — 1,5 тонны. Пока его везли в Ярославль, пришлось экстренно дополнять раздел о такелажных работах.
Одной из особенностей нашего ЦОД должен был стать поступенчатый запуск: мы планировали отстроить и оснастить одну секцию главного здания, а затем продолжить работы. Так вот, оказалось, что монтаж технологического оборудования в условиях продолжающихся строительно-монтажных работ — нетривиальная задача. Число вопросов, которые приходилось решать ежедневно, начало достигать максимума, ситуация накалялась, а аргументация при переговорах с зарубежными поставщиками доходила до «I don«t give a shit». В целом, всё оказалось возможным, но непривычным для всех участников процесса.
Кто-то из подрядчиков не справлялся и был вынужден покинуть проект: мы сменили генерального подрядчика, технического заказчика (экспертов-управленцев по капитальному строительству). Чтобы не нарушить сроки по отдельным работам, приходилось привлекать проверенных партнёров «Билайн».
Надо признаться в том, что опыта капитального строительства такого масштаба тогда у нас не было, что создавало дополнительные трудности. Например, сначала срок завершения строительства назначили на май 2013 года. Нереальная дата, с точки зрения, технологии работ, или хотя бы потому, что только в августе завершился этап проектирования. Мы вовремя сопоставили ситуацию с нашими возможностями и скорректировали сроки.
Быстро учились, привлекали новых людей, искали специалистов внутри компании, которые пришли в связь из строительства. Со временем у нас появилась команда, состоящая из опытных экспертов по капитальному строительству, энергосистемам, ИТ-инфраструктуре, транспортной сети. И в результате, смогли решать возникающие проблемы непосредственно на строительной площадке.
До начала строительства у нашего коллеги состоялся разговор с руководителем свежепостроенного фармацевтического завода, который сказал: «Главное — это закупки». Мы осознали эту истину. Малейшая ошибка при выборе исполнителя работ, и на вас свалится куча проблем: увеличится бюджет проекта, а дедлайны будут пролетать со свистом.
Один такой подрядчик быстро повышает уровень хаоса на стройке, его проблемы становятся проблемами всех. Он быстро забывает всё то, что пообещал вам на этапе тендера, и внезапно выясняется, что обещания зависят от множества новых факторов, неподвластных бедному подрядчику, которому нужно непременно помочь (чаще всего деньгами и согласованием увеличения срока). Если рассматривать стройку как экосистему, можно сказать, что эта зараза быстро распространяется, и вскоре в зоне поражения оказываются и другие подрядчики, которые начинают вести себя подобным образом. А если они так, почему мы должны стараться? В общем, всё, как в жизни, только на кону многие миллионы рублей.
Что мы теперь знаем
1. Проектная команда. Нужна команда из внешних или внутренних сотрудников, которая бы имела экспертизу во всех сферах проекта. В идеале каждый должен иметь опыт строительства ЦОДов. Это труднодостижимо или требует больших затрат, которые сложно обосновать руководству (обязательно озвучьте риски прежде, чем смириться). Ключевые сотрудники (руководитель проекта, его помощники, главный инженер проекта и др.) должны обладать таким опытом. У нас такая команда теперь есть.2. Управление проектом. Нужна предельно понятная организационная структура, хорошая коммуникация между участниками, чёткие зоны ответственности, процессы принятия решения и обработки запросов от подрядчиков. 3. Планирование. График работ при капитальном строительстве может состоять из нескольких тысяч пунктов со сложной взаимосвязью. Нужен отдельный человек, который бы обновлял этот график еженедельно. Так у вас будет всегда ясная картина для принятия правильных решений.4. Закупки (выбор поставщиков и исполнителей работ): — при любой закупке экспертная группа должна быть достаточно компетентной. Нужны профессионалы ещё на этапе выбора концепции и составления технических заданий; — работа отдела закупок должна быть оптимизирована с точки зрения специфики стройки; — лучше уменьшить число контрагентов: один генеральный проектировщик (даже если в вашей компании уже есть действующий договор, например, по системам безопасности), один генеральный подрядчик; — процедурой стоит предусмотреть наличие одного или двух резервных поставщиков по всем видам работ, которые бы могли включиться в проект при возникновении трудностей; — отличная практика — страховка крупных договоров банковской гарантией; — в объём работ генподрядчика включите ввод здания в эксплуатацию; — толстые договора, в которых всё детально прописано, — это хорошо.5. Экспертиза, консалтинг.Нужно приглашать в проект экспертов по всем задействованным в проекте направлениям: проектированию ЦОД, капитальному строительству, монтажу технологического оборудования и др. До начала пусконаладочных работ стоит нанять независимую организацию, имеющую опыт в сфере ЦОД, которая поможет составить программу и методику испытаний. Под её контролем пройдут пусконаладочные работы, а также комплексные испытания всех систем ЦОД. Эти люди должны нести материальную ответственность за результат своей работы.6. Служба эксплуатации.Ещё до начала проектирования объекта найдите руководителя службы эксплуатации. Решения по проектированию и строительству здания должны быть сделаны с точки зрения эксплуатации (удобство, экономичность, минимальные риски и др.) От правильности выбранных решений будет зависеть надёжность и доступность ЦОДа.Как полёт в космос
Основатель «Билайн» Дмитрий Зимин ставит подпись на ситуационном плане ЯТЦ
Ближе к концу строительства к нам приехал Дмитрий Зимин — основатель ОАО «ВымпелКом». Вообще, он приехал встретиться с местными журналистами, но мы позвали его на нашу стройку. Дмитрий Борисович оказался невероятно доброжелательным и искренним. А мы пытались представить, что же происходит у него на душе: когда-то его дело начиналось с одной базовой станции в стенах Радиотехнического института в Москве, а теперь он находится в другом городе и смотрит, как строится 10-мегаваттный ЦОД созданной им компании (а вот так всё начиналось).
Сейчас
Сейчас запущен в эксплуатацию один модульный ЦОД, предназначенный для размещения 236 стандартных телекоммуникационных стоек. Всего планируется запустить 6 таких залов, то есть всего в ЯТЦ можно будет разместить 1416 стоек.
Первоначальные расчеты показывали, что количество стоек в одном зале будет не более 200, но в ходе проектирования нам удалось увеличить этот показатель до 236.
Мы подвели магистральную сеть (но ещё не протестировали всё), гоняем тесты охлаждения. Как закончим — будет большая уборка, согласования и приёмка. После этого, в декабре, планируется первый уже «боевой» запуск.
О том, как мы всё это проектировали, можно почитать вот здесь: общее, про питание, про охлаждение. Это 2011–2012 год.
