Как это было: часть 2, переезд из ЦОДа в ЦОД
Как это было: часть 2, переезд из ЦОДа в ЦОД или как положится на Мегафон? Если очень кратно — переехали благополучно, второе — на Мегафон полагаться не стоит. А теперь у сути.
Здравствуйте уважаемые коллеги! Прежде всего я хочу Вас поздравить с прошедшим Новым Годом и Рождеством и в НГ пожелать Вам спокойствии и мирного неба над головой!
В то время, когда кто-то праздновал, кушал салатики и веселился, мне было не до веселья, т.к. на утром 2е января был намечен переезд из ЦОДа в ЦОД, что накладывало существенные ограничение на количество выпитого согревающего (хотя я не пью), но так-же на распорядок дня 1 го января. Нужно было перед выключением еще раз все проверить и перепроверить, но об этом чуть позже.
В ряде прошлых материалов, а именно
Выбор ЦОДа в Санкт-Петербурге, практический опыт выбора, Переезд в ЦОД: Подготовка и Переезд в ЦОД: Как это было я затрагивал не только аспект выбора ЦОДа, подготовку к перееду и сам переезд.
В одной из последних статей Резервный ЦОД были выведены тезисы о том, что резервный ЦОД — это не только показатель зрелости компании, её уверенности в масштабировании ресурсов, безопасном хранении данных, но это и аспекты репутации компании перед акционерами, собственниками, партнерами и клиентами.
Так почему-же мы опять переезжаем в ЦОД и не противоречит ли это стратегии по организации резервного ЦОДа? Ответ простой. Во-первых — текущий ЦОД с Нового Года подложил свинью предложил нам платить почти вдвое выше, так, что переезд в новый ЦОД и платежи в новом ЦОДе полностью нивелировали это предложение. Во-вторых, было принято стратегическое решение об открытии второго — резервного ЦОДа в Москве, и я считаю это правильным и знаковым решением, которое позволит по его реализации не только консолидировать разрозненные ресурсы в одном месте, но и обеспечить высокую доступность и отказоустойчивость в масштабах компании. Ну и третье -новый ЦОД находится всего в 5 минутах ходьбы от офиса и если кто-то надеется, что он не будет ездить в ЦОД, или удаленные рука закроют все вопросы, он дико заблуждается, ездить придется, и чем он будет ближе от офиса — тем лучше.
Подготовка была разбита на несколько этапов:
— один из основополагающих этапов — организация каналов связи в новом ЦОДе, их интеграция в текущею инфраструктуру ЛВС. Сюда входит наличие в ЦОДе требуемых операторов связи, заранее продуманные и подготовленное задание на предоставление требуемых услуг. В моем случае, после стратегического решения о переезде в новый ЦОД этот этап начал формализоваться более чем за полгода. Не буду спойлерить, но если кто-то будет проецировать картину своего возможного переезда и использует связь от Мегафона, хочу Вас предостеречь, это единственный оператор который облажался по полной, и не в первый раз (об этом чуть позже). Думаю Вам возможно в новом ЦОДе лучше присмотреться к другому оператору.
— подготовка поэтапного плана переезда, включающего ответственных за все этапы, демонтаж, монтаж, транспортная компания, страховка, подготовительные работы, остановка всех служб и серверов, СХД, верификацию запуска, наличие резервных копий и многого прочего
— не маловажно — согласование сроков переезда и вызванного им простоя с бизнесом, тут любимая бухгалтерия как обычно, была готова начинать подготавливать отчеты как можно раньше, чуть ли не с самого начала января. Для ЦОДа, который обслуживание группу компаний, с численностью сотрудников больше 2–3 тысяч, остановка даже в новогоднее праздники — это большая удача.
— непосредственна подготовка инфраструктуры самого ЦОДа к переезду, подготовленные стойко-места, необходимая внутренняя и внешняя коммутация. В моем случае это было важно, т.к. стойки приходилось заказывать самим, т.к. стойки ЦОД мог предоставить, размазав их цену на ежемесячные платежи с соответствующей маржинальностью.
Ну, давайте приступим к самому интересному (ОЧЕНЬ МНОГО ФОТО контента)
Итак, 1 го января мы начали штатное завершение работы систем и сервисов, остановку серверов. Еще 2 го января я в 3 часа ночи я еще контролировал завершение выполнения резервного копирования баз данных, делал дополнительные копии, хотя на сон оставалось всего чуть-чуть. В ЦОДе Linx мы были в 10 утра как штык.
Смеркалось Началось!
Первым делом в соответствии с составленной схемой размещения в старом-новом ЦОДе было проведено дополнительная маркировка оборудования. Наверное, это можно было провести и раньше, но в декабре время так катастрофически ее хватало, что этот момент пришлось желать на месте.
Без схемы никуда
Начался демонтаж стоек, на подготовленные заранее паллеты складывали сервера и СХД чтобы можно было как-то пройти в общем проходе.
С транспортной компании была договоренность, наш демонтаж-монтаж, на их плечи упаковка, перенос до машины, безопасная перевозка, успокоительная страховка.
Тем временем стойки начали пустеть…
Немного отвлекусь, в какой-то момент, ко мне подходит дежурный инженер Linx и говорит, что стоит ограничение на вывоз… Опа-па… Мы половину уже разобрали, за неделю до этого мы в тестовом порядке вывезти часть оборудования (у меня был полные права на ввоз-вывоз оборудования), а тут такое. До последнего не разбирали центральную коммутационную стойку, вдруг придется собирать)
Ситуацию, конечно, разрулили, но осадочек конечно остался. Не хочется думать, что это какой-то саботаж, по принципу заехать легко, а выехать… вот вам трудностей немного/много (нужное подчеркнуть).
Продолжаем, мы почти полностью демонтировали все оборудование, к этому времени подоспела транспортная компания с опытными специалистами по погрузке-разгрузке-упаковке. Процесс у них явно поставлен на поток.
Потихоньку наполнялся кузов серверовозки
По завершении шести проведенных часов в Linx, обернувшись в последний раз, глубоко набрав воздух и выдохнув, сказал — прощай)
Колесница с серверным оборудованием тронулась, не дай Бог что-то случилось-бы, страховка, конечно, это хорошо, но на период перевозки, все яйца были в одной корзине данные были в одном кузове газели, а на улице зима, гололед…. Мы скрестили пальцы, надеялись на опыт и благоразумие водителя и самостоятельно тронулись в новый ЦОД.
Некоторое ожидание и оборудование уже в машинном зале нового ЦОДа Гознак, к слову — единственного ЦОДа в СПб с двумя сертификатами Tier III Certification of Design Documents и Tier III Certification of Constructed Facility. Московские ЦОДы этому конечно не удивить. С точки зрения надежности, стабильности — уверенность в ЦОДе полная, но с точки зрения некоторого комфорта для клиентов… вопросы конечно есть, тот уровень комфорта к которому мы привыкли, попивая бесплатный разнообразней кофе в кофе автомате, наличие беруш, пластыри… эх (
На следующий день начался долгожданный хаос монтаж
В процессе монтажа появились первые потери ранения, пришлось обходиться подручными средствами.
Ближе к вечеру начала вырисовываются итоговая коммутация и конечные очертания содержимого стоек уже начинают приобретать законченный вид
К вечеру второго дня стойки выглядели так
Для ценителей звука:
Напоследок, если вдруг прибежит шеф и как в старом анекдоте, скажет — у Вас сутки для чтобы все вывезти все оборудование — проверено на практике, вывезти оборудование за день реально.
После завершения всех манипуляций будет еще длительный запуск оборудования, серверов, систем, тестирование цепочек интеграции и обменов.
P.S. Забыл самое интересное. Как я и сказал в начале, процесс подготовки начался за много месяцев до переезда. Знаете кому не хватает 5 месяцев чтобы организовать канал связи в ЦОДе, в котором оператор присутствует? Правильно — Мегафону, знаете, кто много раз сдвигая сроки, клятвенно обещал, что успеет все организовать каналы связи, правильно — Мегафону. А знаете кто не справился с аналогичной услугой 6 лет назад, при переезде в Linx? Ну вы поняли, Мегафон. Слава Богу, что этот оператор не основной, а лишь организовывает L2 каналы я рядом филиалов, но все равно, не просто осадочек остался, о огромная поварёшка дегтя в бочке меда.
К чему я все это, наличие требуемых операторов связи в ЦОДе — важнейшей аспект переезда, а полагаться на то, что Мегафон выполняет подключение в срок не советую, для себя я вывод сделал однозначный. Третьего шанса Мегафону я ему не дам.
Какой итог переезда в новый ЦОД? Первое — уже через месяц начнется подготовка к открытию второго ЦОДа, и второе — все сработано гладко и штатно, и из всех сотрудников лишь единицы знают о проделанной работе в то время, когда остальные проводили НГ праздники.
Открытие второго ЦОДа, организация связи и построение отказоустойчивости будет куда интереснее.
Всем удачи и стабильно работающих систем и сервисов!
