Романтика дальних инженерных выездов (а наша крыса выжила)
"— Да ладно тебе, чё, правда нельзя так? Удобно же, кабель многожильный, мягкий. В одножильный так не завернёшь..."
Заказчик — большая компания — объявляет тендер на ИБП и кондиционирование для инфраструктуры своих дата-центров по всей стране. Объектов чуть меньше 30 штук, причём включая города, где нет железной дороги. В основном. В августе стартует конкурс, в ноябре только-только заканчивается оформление всей документации. Соответственно, наши инженеры приезжают уже в тот момент, когда «снаружи» от -30 до -40 наружного воздуха. А по условиям контракта нужно мыть наружный блок кондиционера.
Кто не знает, сообщаю — делается это водкой. Желательно — палёной, она хуже обмерзает. Процедура такая: покупается ящик или два в ближайшем магазине, оцинкованное ведро. В этот момент прохожие уже начинают крайне болезненно реагировать, наблюдая за сливом водки в ведро. Водка, кстати, во многих удалённых городах — до сих пор альтернативная валюта покрепче рубля. Затем на лицах окружающих проступает неподдельная печаль и вся мировая боль, когда блок кондиционера начинает промываться.
В такие выезды мы всегда отправляем хотя бы одного инженера с опытом подобных работ, потому что подводных камней много. Начиная от того, что за святотатство могут банально побить, и заканчивая тем, что ящик водки потом «дома» надо как-то провести по бухгалтерии. А вопросы будут. Ещё одна опасность — при распрыскивании на внешний блок кондиционера можно крайне быстро надышаться парами спирта. Как шутят бывалые — в инструментальном наборе обязательно нужно иметь отсек для огурчиков, чтобы снимать последствия ингаляций такого типа. Следующая проблема — всё надо делать быстро, потому что при -35 и ниже с учётом температуры конденсатора около 60 градусов в плюсе — запах водки стремительно распространяется по району в направлении ветра. Или всенаправленно, если ветра нет. Местные жители реально начинают очень странно себя вести и искать источник беспокойства.
Заходите, буду делиться другими историями.
Командировки у нас каждую неделю. Частые, но короткие. За 10 лет в отделе мы уже побывали по всей стране. А ещё в Казахстане, на Украине, на обучении в Голландии, Китае, Германии.
Вдали от обычных маршрутов цивилизации есть ряд мест, куда можно попасть только по зимнику — дороге, которая раскатывается по снегу и льду, по озёрам и холмам. Зимник в Сибири, например, вообще единственное средство добираться до ряда населённых пунктов. Как только зимник тает, город буквально отрезается от цивилизации до следующих холодов. Весной или осенью в принципе невозможно попасть на инженерные объекты, только разве что вертолет на крайние случаи. Расстояния довольно большие — надо на 700 километров через горы, например.
На зимних выездах экипировка берётся достаточно странная для «перворазников». Три запасных колеса, ружья, топоры, запчасти. Если машина сломается в тайге, сначала можно вообще никого не встретить пару дней. А потом на приятный запах бензина и матюки придёт мишка интересоваться, кто это тут такой вкусный. Последний раз водитель вообще размахивал новенькой «Сайгой» со словами «от местных отстреливаться» — говорит, места безлюдные, балуют. Природа там очень красивая — но через час уже надоедает смотреть в окно, одно и то же примерно.
Мой коллега ловит себе ужин выездного сисадмина
Ездить нужно довольно регулярно, потому что всё то, что нельзя сделать удалённо (установка и монтаж) лучше делать самим, чем объяснять местным. Как правило, они хороши на мелких ремонтах, но не обладают нужной квалификацией, поэтому в удалённый ремонт мы идём только в крайних случаях. Так вот, поскольку квалифицированный инженер — человек редкий, отправлять больше одного смысла не имеет. В итоге на таких выездах водитель становится самым родным человеком. А ещё с какого-то момента связь не берет, поэтому перед поездкой надо запасаться анекдотами и сервис-мануалами. Последний раз двигались из Нерюнгри в Теплый ключ (это до Якутска 500 километров и ещё 500 в сторону Магадана), река без мостов, — нужно ждать зимника. Водитель решил, что проскочит, когда официального зимника ещё не было. Водителя оштрафовали на 300 тысяч за перевозку людей.
Холода, кроме особенностей омывания наружных блоков кодинционеров, приносят довольно много сюрпризов. Например, в Хабаровске нам рассказывали такую историю: на месте решили покрасить и теплоизолировать расширительный бак гидравлической системы. Как положено, запланировали 2 часа на простой. Но не учли переходный период. В 11 утра в мае было 10 градусов. Через 2 часа было уже 30 градусов. Началось термическое расширение жидкости. Ёмкость в две с половиной тонны просто разорвало по швам. Заварили, начали запускать — свистит. В итоге мы узнали всю эту предысторию, когда монтировали новый расширительный бак.
Очень много косяков вскрывается на местах на выездах по новым монтажам. Как правило, приезжаешь, смотришь в проект — там одно, а по факту — несколько другое. Вот буквально недалеко совсем, в Москве аж сербский субподрядчик заказчика сдавал инженерку. Подходим к розетке, проверяем — напряжения нет. Заказчик вскрывает — провод есть, всё аккуратно смонтировано. Дёргает — он выпадает. Там хвост на 30 сантиметров, и больше этот хвост никуда не идет. Видимо, секрет Теслы подрядчику не дался. Или вот на другом объекте субподрядчики подключали наш датчик давления жидкости. У него два жидкостных входа и электрический вход чтобы снимать показания. Инженер подрядчика не понял. Одна жидкостная линия подключена правильно, вторая — в электрический вход (вставлена гидравлическая трубка), а потом фаза — во второй жидкостный вход.
Как-то нужно было подключить небольшой ИБП. Кабель должен быть по нормативу около 16 квадратных миллиметров. А туда идёт кабельная линия 3х2,5 мм. Потом стоит автоматический выключатель. Оттуда в сторону потребителя растет до 3х10 мм. Мы:
— А это… вам тут всё нравится?
— Делай по чертежу. Так утверждено.
В Ханты-Манскийск в прошлом году ездил. Попросили посмотреть оборудование, что-то слишком быстро выходили из строя компрессоры. Выходим на площадку, вокруг дядьки с галстуками, явно не последние начальники. Ходят, смотрят. Диалог получился примерно такой:
— Посмотришь? Тут компрессора часто горят. Мы их меняем. Всё остальное работает, вроде. И так с 2007 года. Мистика.
Я присматриваюсь и аккуратно так сообщаю:
— Господа, а вас не насторожило, что надписи вверх ногами?
Они:
— Да как так? Не может быть!
Переглядываются
— Вась ты глянь… На самом деле!
Все внешние блоки систем кондиционирования стоят вверх ногами. Компрессор страдает под нерасчётной нагрузкой.
Хабаровск — там кто-то реализовал схему включения циркуляционных насосов на 15 КВт напрямую с выключателя без пусковых элементов. Сожгли в течение месяца 4 насоса. «Включаю, его сразу выбивает, я опять включаю».
Или вот идёт пусконаладка ИБП, причём монтаж делала местная подрядная организация. Я проверял. Смотрю — кабельные линии сделаны не по стандарту: заземляющая должна быть желто-зеленая, а она другая. Фазный проводник на месте нулевого. Открыл батарейные кабинеты — всего было 124 АКБ на 4 линейки батарей. Обычный нормальный человек поделил бы на 4 — получилось бы по 31 на шкаф. Но нет. В одном 24, потом 28, потом 36 — потом остальное. Логику пытаюсь понять до сих пор. На этом же объекте был маленький пункт с ИБП на другом этаже. Монтажник говорит: «Лишние перемычки остались». А в комплект вендор ничего лишнего не кладёт, это важно. Решили перешерстить. В итоге выяснилось, что если бы подали питание при его сборке — мы бы остались без ИБП.
Достаточно частое зрелище на объекте
Расскажу ещё про обычные дорожные приключения. На югах тоже своя специфика. Делали инфраструктуру для заказчика в Дагестане. Едем обратно — на перекрестках стоят дяди в камуфле с армейскими автоматами. В новостях потом — только наш инженер ушел с объекта, там прямо в 15 метрах рядом началась перестрелка.
В ещё одном жарком городе оставили на дороге тяжеленный снятый трансформатор до утра, утром надо было его убрать и перемонтировать. Утром приходим — нет его. Зато дорога новая, асфальт положен, где он лежал. А унести было нереально без спецтехники. Начали расспрашивать. Выяснилось следующее: по этой дороге должен был проехать чиновник по плану. Поэтому около часа ночи пришли рабочие и выкопали яму под трансформатор, «уровняли» его в дорогу и положили сверху асфальт.
В Петербурге произошла история, достойная культурной столицы. Заказчик располагался на территории электростанции 1901-го года постройки. Мы проходили инструктаж 2 дня (ДВА ДНЯ) чтобы просто допуститься к работам. Дама очень любила электростнацию и поэтому нам рассказала сначала историю объекта, потом района, потом всего Петербурга. Дошла аж до Петра. После допуска мы выдохнули и пошли, но это оказалось не всё — можно было ходить только по внутренней зоне. А вот на улицу где опасная зона — ещё 3 часа техники безопасности вперемежку с историей.
Там же в Петербурге нам нужно было на объекте получить кабель 5х95 примерно 6 метров. А притащили стометровую тоннажную катушку. Говорят: «Может пригодится. Не пригодится — ну, мы обрезки заберём».
Один раз ремонтировали ДГУ, которые просто не вставали на сервис годами. Заказчик поставку подписал, а сервис согласовывал больше двух лет. Обслуживать установки никто и не думал. Когда они встали, мы застали стертые до мяса вращающиеся элементы.
Видели ЦОД по охлаждению реализованый задом наперед. Холодный воздух поступал на выходы из серверов. Предполагался «обратный» монтаж стоек, но охлаждение делала одна команда, а железо ставила другая. Мы комментируем:
— У вас плохо тут будет.
— Вы не понимаете, производитель сам проектировал.
Через 3 месяца, конечно, аукнулось.
В Серпухове приезжаю на площадку. На половине будущего объекта нет крыши, внутри лужи. Подходим к месту монтажа серверной — там готовятся заливать полы, лежит цемент. Говорю: «В таких условиях железо долго не проработает», а мне: «Монтируй, у нас график. Нам по сроку нужно запустить ИБП. У тебя договор, делай!». В итоге сделали, как потребовали, а потом несколько раз непланово катались.
Коллега рассказывает о самом коротком пуске:
— Не трогай сейчас сгорит!
— Запускай, у нас график!
Или часто бывает так: «Сдайте объект, только не включайте»: например, на большом количестве объектов с газовым пожаротушением инициирующие устройства не подключены к газу. Потому что вдруг будет сработка. Как минимум один сгоревший по такой причине ЦОД я знаю.
Но давайте о хорошем. В целом, бывают предусмотрительные представители заказчиков, точно знающие, зачем нужен фальшпол. У них там в серверных внизу лежит водочка, охлаждается. У одного из производителей вентиляции видели маленькую серверную с правильно оборудованным горячим выводом. Они решили не только греть окружающую среду, но и правильно использовать тепло для своей пользы. Поставили маленький пивоваренный агрегат, радовались своему домашнему.
Один раз инженерам заказчика нужно было срочно решить задачу, которую поставил руководитель в 8 утра 2 января. «Я не вижу, тепло на объектах работать или нет. Поставьте метеостанции и выводите их в мониторинг в Москву». Через 4 часа мы увидели волшебную картину — молодые весёлые парни развешивали термометры около охранных камер. Включаешь видеопоток — температуру видно.
У нас в офисе висит турник. Дело в том, что нам нужно не только от медведя убегать, но иногда и много чего таскать. Поэтому играем в «лесенку» постоянно. Из случаев таскания самый запомнившийся — ДГУ на крыше одного из дальних ЦОДов, туда надо было 3 машины по 200 литров натаскать вёдрами. Изначально хотели сделать гидроплатформу туда, а потом просто зарубили вторую часть финансирования и решили, что ногами лучше. Мы-то один раз в этом цирке участвовали, а команда обслуживания там регулярно веселится. Бесплатный фитнес.
Один раз заказчик (большой чин) лично поехал смотреть переключение на ИБП/ДГУ. Открывает, там реле.
— Аааа, дуга!
И отпрыгивает. Ему:
— Спокойно, нормальная рабочая ситуация.
Большой начальник подумал и экскурсию прервал. Попросил дальше в бумагах.
В Воронеже ремонтирую щиты и ИБП. Говорю: отключите датчики пожарки, пыль может подняться, датчик сработает. Они ничего не отключили. Беру воздуходувку, дую в вентилятор. Поднимается огромный стол пыли ровно вверх — а там датчик. Срабатывает пожарка по всему объекту— я бегу на охрану говорить что по пыли. «Ничего не знаю, полная эвакуация». Прибежал главный инженер распекать матом: «А я же тебе говорил». Но в итоге заказчик всех похвалил. Говорит, пока вы тут цирк устроили, у нас по торговой части полковник МЧС ходил. Увидел, говорит, что всё работает как часы — считай, в этом полугодии не придут.
Один раз наши иностранные коллеги бурили стену по нашему проекту в помещение для топливных баков. А надо сказать, что на схеме было характерное «облачко» выноски с увеличением масштаба, чтобы было видно, какое именно отверстие нужно. Так эти товарищи ровно по контуру облачка и выпилили в натуральный размер.
И напоследок про крысу. У коллег она на линейке батарей взорвалась от нахлынувших чувств и напряжения, а наша вот, красавица:
Наша выжила.
