Работа «ИТ-космонавтом»: как мы, инженеры, ездим в гости к медведям и тюленям
«Чёрт. Запускайте космонавта» — фраза, с которой начинаются наши самые сложные выезды. Помню, на прошлое Рождество примерно так мы и поехали чинить АБХМ одного государственного учреждения. Машина замерзала, а дата-центр от этого грелся. От того, починим или нет, зависело, как пожилые люди по всей стране проведут Новый год (с пенсией или без). Спасли, но работа была ещё та. Потом её рассчитали и начислили. Пенсию.
С тех пор нас и называют космонавтами, потому что работаем в автономке. Минимум половина выездов — это максимум час на комплектацию и неделя где-нибудь там, где вместо Хабра только медведи. И даже деньги ничего не стоят.
Про космонавтов
Так получилось, что нас теперь весь КРОК знает, как отряд космонавтов. У нас две «спецназовские» выездные команды на особо сложные задачи — у коллег по тяжелым серверам «икс-команда», а у нас — «космонавты». Икс-команда больше по Москве ездит и по центру страны — всё же тяжелого железа тут понатыкано не в пример больше, чем за Северным полярным кругом. Да и удалённое управление почти всегда решает, если только файрволлы не настраивать. Сетевики так вообще как-то умудрились скоординировать операцию по подключению примерно 50 точек за Уралом на предприятиях силами местных инженеров. А там специфика такая — надо было сделать разрыв на входе в интернет-канал и подключить новую железку. Как только разрыв появился — даже телефония не работает. Поэтому если не написал инструкцию понятным простым языком — поедешь в гости к мишкам. Тогда получилось.
А мы чаще выезжаем на профилактику, разный ремонт инженерки серверных, дата-центров и разных сопутствующих инфраструктурных вещей. Холодильные машины и ИБП удалённо не отработать, поэтому каждый бывает в 4–5 городах за месяц минимум. Страну знаем как свои пять пальцев особенности аэропортов, столовые для персонала, всякие нычки, расположения розеток-зарядок в разных общественных зданиях — тоже.
Про мою работу
Начну с себя и того, как вообще устроена работа. У коллег она устроена точно так же, может, детали отличаются.
Меня зовут Роман Карпов. Профильное образование у меня — электромеханик по торговому и холодильному оборудованию, второе высшее — ведущий инженер по системам вентиляции и кондиционирования. В команде 5 лет. Начинал техником, до этого работал в охране Росатома (точнее в ЧОПе). В армии служил на должности командира отделения пожарной команды, планировал пойти в военное училище МЧС. На тот момент образования не было вообще, только очень громкий мат и боевое развёртывание. Кстати, до сих пор укладываюсь в норматив: с лестницей-штурмовкой — на 4-й этаж с 35 метров за 42 секунды.
Испытательный срок у меня был 2 месяца — ничего не понимал, сидел, читал документацию на оборудование, ездил со старшими товарищами на выезды по Москве. Первый боевой самостоятельный выезд был в Петербург — надо было сделать сервис ЦОДа, были сложности с кондиционированием. Вышел из строя терморегулирующий вентиль, потребовалась замена, плюс там был комплекс работ по введению системы кондиционирования в эксплуатацию. Дня четыре ушло. Всё было ясно, понятно, главное — взять и сделать руками, договориться с людьми, чтобы помогали.
Это был последний выезд без сюрпризов. Следующие 5 лет сюрпризы были каждый день. Выездов много. Например, за 20 дней я побывал в Ростове-на-Дону, Чите, Улан-Удэ, Сургуте, Набережных Челнах. Между Читой и Улан-Удэ была пара выходных, съездили с коллегами на Байкал, давно хотелось. Потом опять арбайтен.
Это мы с Павлом Степановым недавно сгоняли в Улан-Удэ. Там красиво даже на дороге.
Специфика работы команды — нужно уметь вскочить и бежать в любой момент. Постоянно кто-то в дежурстве. Есть сервисные контракты и аварии. Сервисные контракты — это когда в ограниченный срок надо объехать N объектов и сделать там ТО, ремонты, профилактику и так далее. Мы умеем делать это, наверное, лучше всех в стране. Почему и что для этого надо — чуть позже, когда будем рассказывать про Горячий Ключ и доставку материалов туда. Пока же расскажу про заявки.
Итак, я как ведущий инженер направления составляю график выездов, довожу его до команды и планирую своё время. Например, 20 дней месяца — профилактики по стране (2–7 ноября — Чита и Улан-Удэ; 9–13 ноября — Сургут; 16–17 — Ростов-на-Дону; 19–21 — Набережные Челны; 23–27 спокойно работал в Москве). Дома бываю почти каждые выходные: командировки короткие, по 2–3 дня обычно (если самолёты есть в радиусе 400 километров от обслуживаемого объекта). У коллег график похожий, единственный момент, например, если супруга беременна, то мы стараемся человека дальше Подмосковья не отправлять, ну и так далее. Или когда человек только вернулся из Перми, то по новой заявке поедет тот, кто вчера был в Москве, а не он же с самолёта на самолёт. Хотя, конечно, иногда приходится и так делать, когда аварии случаются одновременно где-то в разных местах.
День
В дежурной смене мы занимаемся текущей офисной работой и ждём заявок. Изучаем документацию, возимся с отчётами, разбираем-собираем интересные узлы, паяем что-то убитое редкое, обучаем людей. Статистически аварии должны распределяться равномерно по графику, но на практике это далеко не так. Обычно поломки случаются парами, причём сразу в двух разных концах страны. И не в понедельник утром, нет. Заявка утром понедельника — это праздник. Обычно же тревога начинается в 23:00 в пятницу.
Дальше — попытка понять дистанционно, что случилось, нужно ли ехать. У икс-команды и сетевиков частая проблема — отключение питания или проблемы в магистрали, поэтому выезжают они по делу примерно в трети случаев. У нас же 90% аварий — вопрос прямо к нам, и всё по делу.
«Мимо» выглядит так — 3 января в 9 утра Паша выезжал на объект. Спрашивает, где неисправность. Охрана показывает в монитор: вот, говорят, он выключился после тревоги и не включается. Паша мышкой пошевелил — монитор включился. Охранник продолжает:, а какой тогда пароль?… В общем, им там непонятно кому было звонить, все только мычали — вот они нам и поставили тикет.
Итак, заявка. На заявку назначается ответственный. Например, я. Если есть SLA в сутки (чаще всего есть), надо посмотреть, что с билетом. Для самых далёких и важных рейсов иногда держим уже купленные билеты с открытой датой, но чаще надо просто заказать. Если офис работает, может помочь команда выделения ресурсов, если нет — заказ обычно делается уже в такси к аэропорту. Ещё склад — срочный у нас в здании, а большой с редкими вещами — в Химках, спец оттуда может подвести что надо в аэропорт. Но это единичные случаи, чаще всего — 12 килограммов инструментов, ноутбук — и вперёд.
Если на месте эксплуатационщики не бегают кругами с криками «всё пропало» (но только одним словом) — дооживляем оборудование. Нам, в отличие, опять же, от икс-команды, можно делать что угодно. В серверном парке замена только модулями, а мы паяем, собираем одно из другого (реально — часто разбираем некритичные системы и нетрадиционно используем их комплектующие для ремонта в городах, где быстро не достать частей). Нам практически ни один из вендоров (за двумя исключениями, в частности, когда заказчик купил ЗИП у вендора) не может диктовать условия по ремонту и поддержке — с гарантии за наши действия системы не снимаются. Если бы мы ждали спецов вендоров по инженерке, заводы по стране стояли бы.
Сохранившаяся фото с моего первого объекта
Мой график обычно известен (примерно, если не будет крупных аварий) на неделю вперёд — дальше нет смысла планировать. Можно, но, как показывает опыт, не нужно. Запланируешь так пару недель — потом обязательно что-нибудь случится. Это почти примета, никто дальше недели из выездных не планирует. И ещё обратные билеты брать лучше в последний день — из той же оперы.
Год не расписан, квартал тоже. Чёрт. Вот прямо сейчас, пока пишу, заявка пришла. В Нижнем Новгороде система охлаждения не запускается. Всем спасибо, мы пошли работать.
…
Вот как-то так. Работа выездная — дом, семья, нормально успеваю. Детей пока нет. Будут — буду переходить на офис, ездить по Москве и Петербургу (есть такие варианты).
Выезды
Обычно долгие выезды — это примерно неделя. В Хабаровске я был с коллегой две недели. Трудно. Висел на волоске ЦОД крупного банка по охлаждению (летом). Был велик риск, что процессы встанут. На месте — очень трудные утечки фреона из контура, надо было их искать и устранять. История такая: чиллер был моноблочный с конденсатором воздушного охлаждения и испарителем водяного охлаждения с фрикулингом. 4 компрессора, 2 контура, в обоих 407-й многокомпонентный. А это такой фреон, что по нормам перезаправляется только всем объёмом, потому что иначе доли компонентов разбалансируются. Процесс: машина останавливается, фреон из системы эвакуируется в ёмкость (в атмосферу нельзя). Далее методом сухого азота под избыточным давлением система заполняется до рекомендованных значений и происходит работа по поиску мест утечек. Ходим, смотрим на трубы — проводим детальный осмотр узлов с использованием спецсредств. Утечки определяются. Потом азот из системы эвакуируется. Трубы паяются. Теперь нужно проверить, как закрыли утечки, то есть герметичность по нормам. Снова проверка азотом под давлением. Выдерживает сроки норматива и падения давления нет — значит, герметична. Составляется и визируется акт. Снова азот стравливаем. Потом вакуумируется система и снова делается заправка фреоном и компрессорным маслом в случае потери объёма. После чего машины снова приходят в эксплуатацию.
Вообще, Серёга у нас гуру, как-то спас все суды, но про это рассказывать пока нельзя. Ещё у него долгий выезд был на пожарную сигнализацию 22-этажного здания, нужно было проинтегрировать её со всеми системами. Например, с лифтами эвакуации, оповещением и ещё примерно десятком подсистем. И ещё между собой эти подсистемы подружить. У него тогда было три недели отрыва от семьи и столовой. Говорит, второе далось особенно тяжело.
Связь когда как. Где-то нормально, где-то нет. Например в Магадане Wi-Fi был через кассу гостиницы — печатали пароль на ленте на 1 час или на два. Причём такая картина во всех гостиницах города — то есть в обеих. Есть ещё местный 3G, но он всё равно прыгает через спутник, поэтому везде стараемся через Wi-Fi. Хотя в том же Сургуте было проще раздать с мобильного — быстрее и продуктивнее чем от местной сети. Симки у нас корпоративные, оплачивает компания. Но не везде наши операторы ловят, поэтому иногда берём свои, резервные. Например, в Ноябрьске не было сети в гостинице, а корпоративный МТС был плохой. Местные говорят, Мега хорошо работает — купил на месте симку и прекрасно всю командировку за 200 рублей серфил.
Если с собой есть ноутбук, то в целом мы способны подключаться и к местным закрытым сетям с техническим трафиком, если совсем плохо со связью.
Зачистка чужих косяков
Сергей появился у нас на пороге в 2006 году. Окончил Воронежский госполитех по радиотехнике. Работал в областной клинической больнице, обслуживал КТ и МРТ. Потом занимался безопасностью в Воронеже. Надо было по семейным обстоятельствам переехать в Москву, начал смотреть, какие компании на рынке есть по его профилю. Внезапно узнал, что требуется много людей на интеллектуальные здания (это как раз инженерка на стыке с ИТ). Приехал к нам, прошёл собеседование, в нашу команду попал в 2007-м.
Серёге часто достаются объекты, где надо «зачистить» за другой командой. Обычно как — работает подрядчик, обещает золотые горы и сдачу в эксплуатацию точно в срок. Может, у нас специфика такая, но «точно в срок», мне кажется, профессиональный миф. За пару недель до сдачи (или вообще за 2–3 дня) заказчик догадывается, что если инфраструктуры физически нет, то, наверное, сдать не успеют. И зовут нас. Тут все слова вспоминают, и про «космонавтов», и про «спецназ», и чего только хорошего о себе не узнаёшь. В 80% случаев решаем, но бывает и так, что заказчик удивляется:
— Три дня же прошло! Почему не готово?
А мы сидим и думаем — действительно, почему мы втроём отсутствующие здания-то не построили?
Или вот ещё пример, мы там доделывали уже после официального запуска. Были как-то работы по пусконаладке систем — там 10 человек через 9 месяцев ничего не родили вовремя. Объект-то они сдали, потому что когда пожарный инспектор приходил — заказчик доказал, что всё ровно, проявив армейскую смекалку. Поставили бойца на крышу, он следил в бинокль, что инспектор делает, и по рации сообщал «советской автоматике» — другим бойцам в щитовой, что включать. В итоге они один из насосов включили, а выключить забыли. Вода заполнила крышу, а потом начала проливаться на улицу. Там центр, кафешки, все дела — народ начал паниковать и гуглить о сезоне дождей.
Дальний Восток
Павел пришёл к нам в 2007 после армии. Тогда мы как раз стажёров набирали, он и устроился. Говорит, помню, дали мануал какой-то, вроде, слова знакомые, тема моя профессиональная, а что это за оборудование — за 5 лет университета мне такое никто даже близко не показывал. После испытательного срока первая «боевая» командировка — поехали с ним в Ростов запускать магазин. В аэропорту объединяли два рейса, и на месте выяснилось, что наш багаж забыли погрузить (всех, кто летел вторым самолётом). А у нас там инструмент был. Заказчик говорит — главное, сами доехали, всё дадим. И дали. Багаж забрали только вечером, но уже не сильно пригодилось — отработали чем есть.
Самые запомнившиеся командировки — Магадан и Хабаровск. В пятницу прилетели в офис, в понедельник улетели в Хабаровск. Разница 8 и 7 часов. В перелетах — 9 часов туда. Потом еще 8 часов. Работа одинаковая — кондиционер, ИБП, дизель. Надо профилактику для ЦОДа и серверной.
Когда летишь с Дальнего Востока, сутки увеличиваются на 6–8 часов. В 5 утра встал, в 5 утра прилетел в Москву. Но это ещё хорошо, обычно рейс такой — в 3 часа дня вылетел, в Москве в 3 часа дня тоже. Если не повезёт — авария, и надо ехать в офис. Или наоборот, когда из Москвы вылетаешь туда вечером, то утром на месте. Не спал нормально, а уже утро, надо опять работать.
Юбилей Паша отмечал в Новокузнецке на объекте. Там надо было поменять оборудование, заказчик сказал, что его доставили наконец-то (ура!), но оказалось, что ориентировался он на отчёт транспортной компании о том, что оно «будет завтра». Ждал ещё неделю. Всю ночь его будили звонками с поздравлениями.
Кстати, насчёт морозов. Мне как-то достался самый морозный день в Кемерово, когда было то ли -42, то ли -43. Я знал, что будет холодно, но не представлял, что такое реально МОРОЗНО. После этого случая мы со службой выделения ресурсов договорились, нам закупили новые куртки «Бавария», тёплые. С ними проще, до этого надо было ещё «вшивник» поддевать.
Взялся — делай до результата
Паша (другой) в команду прочно вошёл после того, как доказал, что «Нет задач невыполнимых», и решать он будет вопрос до победы. Эта черта характера очень важна для инженера.
У меня, например, на выезде было так — буквально в прошлом месяце, открытие нового большого магазина в Сургуте. Надо подняться на 10 метров, чтобы поставить кое-какие коммуникации. А лестницы нет. Взяли и арендовали пиканиску — подъёмный механизм. В это время температура снаружи уже дошла до -20. Приезжают, начинают дизель греть, говорят — «залезайте». Я:
— Мужики, вы гидравлику-то погоняйте, помёрзла, наверное.
— Да нет, всё нормально, давай работай.
— Ты запусти, подними и опусти, посмотрим.
Точно, доходит до середины — шланг отрывает. Всё, трагедия, ремонтника ждать. Пришлось им на месте и пиканиску чинить, и по торговому центру работать. У Паши истории не такие яркие, но идея, думаю, ясна.
Вообще, Паша работал технологом сборочно-сварочного производства на одном из оборонных предприятий. Имел дело с большими сварочными и не только сварочными аппаратами и агрегатами. Когда впервые попал — перевернулось мировоззрение как может выглядеть рабочее место. После огромного цеха на этом предприятии такого полутемного где работало 3 пенсионера (не лучшие годы были, конец 90-х), нормальная инженерная команда с современным инструментом — это для него было как магазин игрушек.
До нас работу искал с трудом. «Нам нужны молодые кадры, но идите где-нибудь опыта наберитесь».
Паша ещё отметился тем, что выезжал на объект, где электричества не было, а все БП сдохли. Надо было таскать батареи, а ему только-только гипс сняли. Работал наравне с местными, всё починил.
А в первую командировку он поехал за Байкал, на Алдан, но это уже лучше в байках расскажем.
Вот про кого я рассказывал: 
Наша команда: Серёга Золотарёв, Павел Александров, Павел Степанов, я (Роман Карпов), Антон Тимошенко и наш руководитель Алексей Воробьёв. Он раньше выезжал, сейчас уже почти перестал. Мы в сравнении с ним по опыту — ещё молодые.
Про Антона и Алексея не рассказал, они лучше сами. Они про наши байки ещё напишут.
