Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара
Здравствуйте! В прошлых статьях (часть один, два, три, четыре) мы рассказывали о том, как мы строили свой мини дата-центр.
В данной статье, мы постараемся рассказать о проблемах, которые нам пришлось пережить за последний год нашей работы. Мы надеемся, что эта статья поможет Вам не допустить тех ошибок, которые были допущены нами с самого начала и которые, нам пришлось устранять «по живому». Поехали!
Как Вы знаете из прошлых статей, нам необходимо было в сжатые сроки «протянуть» свою оптическую линию к новому аплинку, для защиты от DDoS атак (поскольку сервис находился под массированными DDoS атаками конкурентов). Так как делали мы это крайне быстро — то и допустили ряд ошибок, за которые впоследствии расплатились сполна.
Первый обрыв
Первый случай не заставил себя долго ждать. Уже в апреле (да да, именно в апреле) была сильная буря со снегопадом, которая повалила массу деревьев, а в нашем случае даже множество опор (столбов) по которым мы пробрасывали оптический кабель.
Была также проблема — достать оптический кабель, распределительные коробки и муфты и главное, найти бригаду которая бы это сделала, поскольку в тот день, пожалуй половина провайдеров г. Днепр, была без связи, из-за погодных условий, которые повлекли собой падения деревьев, столбов, обрывы оптических магистралей и т.п.
Деревья пилили жители, чтобы освободить дорогу и выехать на работу.
Обрыв оптического волокна произошел сразу в четырёх местах и было это весьма грустно.
Ситуация также осложнялась тем, что высота, на которой монтажники крепили оптический кабель, была недостижима для наших «стандартных» лестниц, но и из этой ситуации мы нашли выход. Пришлось взять вторую машину, которая используется для перевозки грузов и «покатушек» и устанавливать лестницу прямо внутрь, упирая её в сидение.
Приступили к работе.
Зачищаем оптическое волокно.
Свариваем последнюю жилу.
Провозились целый день, практически с раннего утра до вечера. Большое спасибо бригаде которая нам помогала, лезла по обледенелым столбам, мокла в полуметровых лужах и замерзала под «легким» апрельским ветерком.
Второй обрыв
Второй обрыв, произошел спустя месяц-полтора, на том же месте где и первый, как всегда в самый неподходящий для этого момент. А случился он из-за коммунальных служб, которые решили убрать поваленные деревья и заодно порвать все, до чего мог дотянутся ковш их экскаватора… (я надеюсь случайно).
В этот раз мы уже знали куда ехать и что с собой брать, подготовились основательно. В это время наш мини «ЦОД», уже сидел на резервном аплинке с полностью рабочим функционалом, что дало нам возможность не сильно спешить.
Ликвидация последствий прошла успешно, кабель постарались закрепить достаточно высоко, на сколько это было возможно. Как оказалось потом, не достаточно.
Третий обрыв
Спустя некоторое время (совсем небольшой промежуток) у нас снова пропал сигнал и мы первым делом поехали осматривать данный участок дороги. Все усложнялось тем, что нам необходимо было иметь в запасе как оптоволокно так и «фопы/муфты» в которые мы укладывали данное волокно. Но с такой периодичностью аварий, запасов становилось все меньше.
Обрыв произошел ровно на том же участке, в двух местах. Первую часть оборвал большегруз, вместе с электро-проводами, а вторую часть «добил» мусоровоз, который намотал уже обвисший кабель на себя и сорвал его с трёх опор.
Нам данная ситуация весьма надоела и мы решили действовать наверняка. Вызвали автовышку и начали крепить кабель так, чтобы его смог сорвать лишь падающий самолёт (не дай бог конечно).
Сварка волокна прошла успешно и интернет был подан.
Четвертый обрыв
Последний обрыв произошел в конце лета и в самом неудобном для нас месте, над высоковольтными троллейбусными проводами, над оживленной дорогой. Как выяснилось позднее, электрики меняли крепежные элементы и случайно задели наш кабель.
Нужно отдать должное бригаде которая устраняла обрыв, делали они это бесстрашно. Высота, даже по сравнению с нашими прошлыми обрывами была очень серьезная (около 10 м.).
Жара
Но не только с обрывами и снежной весной мы сталкивались за этот год, но и с аномальной жарой, которая чуть не парализовала работу нашего мини цода.
В середине лета, в Украине началась аномальная жара. Температура в тени поднималась до 45 градусов по цельсию. У нас стоит мощный, дорогой, канальный кондиционер, который, к сожалению, обслуживался не так часто, как это требовалось. И вот, когда неделю-другую, стояла жара под 45 градусов, а ночью 30 — у нас начались приключения.
Сначала, у нас начал «взлетать» ЦОД из-за блейд систем HP C7000. Там стоят куллеры по типу «турбин» и звучат они очень спецефично. Температура была (в самой жаркой точке) около 40 градусов, на блейд-системах около 30.
Первым делом, конечно, мы начали обслуживать кондиционер, проверили и добавили фреона, прочистили систему и радиатор и вроде-бы это помогло, но ровно на неделю.
Мы решили добавить еще один кондиционер, напольный, в помощь основному. Но это дало обратный эффект, температура начала только подниматься.
Мы пошли по принципу «удаления теплого воздуха» и начали реконструировать вытяжную систему. Купили и установили вытяжку, проложили вытяжные каналы и т.п.
Тест вытяжки, поглощение листа А4:
Делали даже так:
На какое-то время это дало нужный эффект, и месяц мы жили относительно без проблем, но с повышенной температурой в серверной зоне. Мы решились на замену кондиционера на новый, поскольку посчитали что старый вышел из строя (эксперты указали нам на это). Установили новый, более мощный кондиционер (также канальный), потратили массу финансов, но эффекта это практически не дало.
Перепробовав все возможные варианты, переговорив с десятком фирм-подрядчиков мы не нашли никакого адекватного решения, температура была в пределах нормы, но в её граничной части, что нас также не устраивало. Серверы хоть и не перегревались, но при наращивании оборудования это стало бы проблемой.
И вот, один умный человек (NM из компании PINSPB привет!), подсказал нам, казалось бы не реальное решение проблемы. Вся проблема заключалась в том, что у нас в некоторых углах, скапливался горячий воздух и никуда не уходил и сколько бы мы не подавали холодного, он сразу становился теплым. Мы прислушались к совету коллеги и попробовали сделать тестовое решение из подручных средств.
Признаюсь честно, относился я к этому скептически, да и выглядело глупо. Но спустя час работы температура в дата-центре опустилась с 29–30 до 22–24 градусов! Безусловно, бытовой вентилятор был временной мерой и через 2 дня мы установили вентиляционную систему, которая гоняла воздух по серверной в промышленных масштабах и помогала вытяжке еще лучше. Но вентилятор и совет коллеги, помог нам понять суть проблемы, которую не поняли с десяток фирм-подрядчиков.
Вот и мы, хотим чтобы наш опыт, помог не совершать ошибок другим нашим коллегам, которые только задумываются о «постройке» своего решения или уже делают это.
Спасибо за внимание!
