Истории икс-команды ко дню сисадмина
Привет! Я из кроковской «икс-команды» — группы выездных инженеров, которые обеспечивают SLA в 4 часа по банковской инфраструктуре и другим ответственным штукам. И у меня есть что рассказать на этот светлый праздник.
У нас в расширенном наборе оборудования в машине есть серверный молоток. Включили мы его в набор после случая, когда забивали рельсы в отечественную серверную стойку. Стойка была хорошая, только её для порядка окрасили в три слоя в уставной чёрный. Конечно, забыв, что краска тоже имеет толщину.
Из хардкора — поставили в регионе очень дорогой сервер-молотилку для ритейла. До этого на своей площадке мы его загрузили синтетическими тестами, плюс потом накатили вместе с админами заказчика тестовую базу и погоняли по ней. Всё хорошо. Встаёт в продакшн — на него падает очень высокая и постоянная нагрузка. И он начинает глючить, причём широко и разнообразно. Гоняем тесты и диагностику — всё ок. Ставим в продакшн — опять начинается фантасмагория. Заменять сервер по кускам для метода исключений нельзя, класс системы немного не тот. Позвали главного инженера производителя по всему региону. Это такой гипермозг, известный в наших кругах. Авторитет у него такой, что если он сказал, значит, это закон природы. Приезжает, всех выгоняет, ковыряется пару часов. Выходит, как хирург после операции, смахивает пот со лба и показывает процессор на ладони:
— Его прошил БЫСТРЫЙ НЕЙТРОН.
И уходит. С новым процессором всё поднялось нормально. А мы до сих пор не знаем — то ли он серьёзно это сказал, то ли он тоже читал Наш BOFH«а.
Или вот приезжает новый двухъядерный сервер от именитого вендора. «Белая» сборка, всё закрыто и в датчиках, вокруг куча упаковки и плёнки с пупырышками… Но, зараза, не стартует. Это притом что приложена бумажка, что на площадке до отправки тесты все прошли ровно. Мы его в присутствии инженера производителя открываем, а там приятный сюрприз. В одном слоте один процессор, а в другом — точно такой же, только другой. В смысле, с такими же ногами, но не той модели. Случайно воткнулся на заводе, наверное. Со всяким бывает.
Один раз большая библиотека не хотела запускаться. Мы там втроём были, суммарный опыт — 35 лет в серверном администрировании, а всё равно как дети себя чувствовали. Всё до основания перетрясли — не помогает. Позвонили старшему товарищу на смене в офисе совета попросить. Он говорит: «Мужики, она на колёсиках специально сделана. Покатайте по помещению, найдите место, где заработает». Посмеялись, конечно. Часа два ещё поднять пробовали. Потом реально катать начали. И ведь нашли! До сих пор работает.
Или вот стандартная ситуация: срочный вызов, звонит человек заказчика. Только причина нестандартная: говорит, отстой ваша система, вся упала и накрыла боевую базу данных. Мы бросаем ноутбуки в заранее собранные рюкзаки и летим к лифту. Внизу нас уже ждёт кладовщик с резервными комплектующими. Подрываемся на объект, там партиция битая. Вокруг ходит этот товарищ и ноет, что система плохая, мы криворукие, и вообще всё через задницу, и руки у нас из того же места, и ноги. Про ноги соглашаемся, систему довольно быстро поднимаем. Начинаем тщательно изучать логи, чтобы понять, что случилось. И — та-дам! — выясняется, что именно он систему и угрохал.
Или вот ещё раз было, что мы с помощью болгарки конфигурировали Р-стайловскую, чтобы она встала правильно, но это почти у каждого было. В другой раз была поставка от американцев, а они ошиблись с рельсами. Реально ошиблись, просто рельсы были длиннее, чем надо, на 12 сантиметров. Даже не рельсы, швеллер — тогда они были просто монументальными. Ну и мы решили их просто отрезать. Глаза местного безопасника, когда инженер с болгаркой шёл в серверную и попутно спрашивал, куда тут подключиться, надо было видеть. Ещё один раз мы ходили в серверную с болгаркой, когда надо было разобрать конструкцию, уже не вылезающую в дверь, — за 8 лет проход поменялся, и пришлось слегка менять геометрию уголков стойки. А относительно недавно вообще пришлось разбирать стену, чтобы вытащить СХД из серверной при переезде (в дверь она не лезла, да и по ковролину таскать её было бы настоящим приключением). А так подцепили краном — и все дела. Ещё раз с гидравлическими ножницами ходили, но там решили старого пациента не вытаскивать, админы пожалели. Так и стоит обесточенный шкаф в серверной, просто место занимает. И вызывает ностальгию.
Один раз мы чуть не избили ПМ«а. Делаем ЦОД, электрику. Трансформаторная подстанция, на неё приходит два огромных ввода от ближайшей электростанции, плюс кабельная трасса от ДГУ. Напряжение такое, что если потрогать не ту часть конструкции сухой палкой длиной полметра — пробьёт сначала её, потом резиновую подошву. В общем, вспоминаются все солдатские истории про «остались от бойца одни сапоги, и те пеплом присыпаны». Идёт монтаж, сами монтажники висят на потолке, два десятка спецов. У них там трасса на киловольт. Что такое напряжение, знают все, опытные. Заходит менеджер проекта и, не подумав, достаёт фотоаппарат запечатлеть ход работ. Уже в момент нажатия кнопки к нему приходит немного запоздалая мысль про вспышку. Хлоп! Начинается полный ад: все отцепляются и летят вниз, закрывая голову. А в некоторых местах там 3–4 метра вниз. Потом понимают, что произошло, и в незадачливого ПМ«а как-то сами собой летят плоскогубцы со всех сторон. Убежал. Вечером проставлялся в знак примирения. Дальше снимал без вспышки.
Был у нас молодой инженер, которого отправили на один завод чинить упсы. А кто их видел, знает, что там внутри свинцовые такие квадраты, спаянные проволокой. И они в твёрдом прозрачном пластике. Так вот, из строя вышла одна из таких батарей. Опять же, кто их менял, знает, что они тяжёлые, и самый удобный способ их таскать — примотать к руке скотчем. В общем, прибыл, починил, забрал неисправную, точно так же примотал — и назад. Только заходит на регистрацию в аэропорт, как — БДЫЖЬ! — встречается носом с полом. На нём уже сидят трое охранников и пакуют в наручники. Тащат в закуток, показывают сапёру. В итоге даже звонили нам, задавали наводящие вопросы: «А у вас такой работает? А что он мог нести? А как оно выглядит?»
Один раз отмечали сдачу банковского кластера в регионе. Команда админов приходит под конец работ, говорит, надо акты подписать. И подмигивает. Ну, думаем, всё, сейчас будет традиционная русская игра «спои москвича». Точно, акты, бутылка водки, хлеб, шпроты. Сами только пригубили — мол, нам ещё работать в ночную. Собственно, мы их к концу смены подстерегли и повезли в кабак уравнивать счёт. В кабаке рядом весело бухала другая компания, причём мужчина с женщиной решили потанцевать. Женщина закрутилась в танце и каблуком заехала по лицу руководителю ИТ-подразделения. Дальше началось нечто эпичное: «худые бородатые очкарики» весело повскакивали и начали драться. По ходу пьесы размазали «братанов» из другой компании по полу. Приехала милиция, огляделась, узнала в особо побитом главного айтишника. Лейтенант подумал и решил: «Этого я знаю, он серьёзный человек из банка. Айтишник. Сам начать не мог. Так, значит, вон тех забираем, а этих оставляем отдыхать».
Покупать обратный билет из командировки по срочному выезду — дурная примета. Если купил, то почти всегда профигачишь. На одном из выездов я как знал: едва успел сдать объект, уже бегу на поезд — и понимаю, что всё, он 5 минут как ушёл. На вокзале стоит мужичок, таксист, говорит: «Что, поезд твой ушёл? Давай догоним». И называет цену до следующей станции. Я говорю: «Ещё сотню сверху, если успеваем». И погнали на старой «девятке», нарушая всё, что только можно. Примерно треть дороги наш низколетящий истребитель сделал по встречке. Прибыли на место за 21 минуту до прихода поезда, и я дрожащими руками пил пиво, расплёскивая его на стол.
Иногда мы работаем на производителей как выездные инженеры, оказывая их сервис. Прикол в том, что в таких случаях нужно носить их футболки (или что там ещё из формы) и представляться не КРОКом, а вендором напрямую. Собственно, было два выезда в регион: профилактика в двух близко расположенных компаниях одного холдинга. На деле оказалось, что их обслуживает одна команда айтишников. Первый день: инженер подразделения представляется сам собой, всё делает, уходит. Второй день: едет в другую компанию и понимает, что у неё соседнее здание. На пороге стоят вчерашние знакомцы. На него внимания не обращают, ждут инженера производителя СХД. Он подходит, говорит:
— Я приехал вашу СХД смотреть.
— Да ладно, ты же из КРОКа. А мы тут инженера производителя ждём.
— Не, мужики, всё, я теперь там работаю. Пошли.
— Да?… Оппа, даже корочка есть. Ну ладно, пошли.
В этом же городе был выезд, который удалось отменить в последний момент. Датчик на материнке показывает минус 42 градуса. Значит, датчик неисправен. Если датчик неисправен, значит, надо смотреть, что там с остальным железом, могут быть любые приключения. На всякий случай звоним туда, и они сообщают, что надо экономить электроэнергию. Поэтому они отключили все кондиционеры и открыли окно. Минус сорок два в помещении? Ну да, где-то так, всё в порядке.
«У нас упс не работает и мясом воняет» — отличное начало дня. Выезд, смотрим — на контакты линейки батарей пришла крыса. От тока она быстро, кажется, выкипела — в общем, её разорвало, и ею загадило всё вокруг. Обожаю работу инженера.
И последняя история, но это уже реально на грани байки. В определенные дни в ЦОДе на верхнем этаже здания у моря сбоила память в SAN-серверах. Просто сыпалась по непонятным причинам. Сыпется — меняем. Когда это повторилось пятый раз, вместо шуток стали рисовать график и пробовать найти закономерность. Уборщик посмотрел на команду админов и говорит: «А, вы тоже приливы-отливы отслеживаете!» Это не очень много объяснило. Единственная версия — на рейде стоял военный корабль с радаром ровно напротив ЦОДа. И, похоже, в «критические дни» его диаграмма направленности попадала как раз куда надо. Так ли это или нет, мы не знаем, но других объяснений нет до сих пор.
