ПОПАЛИ В СЕТИ. Как мы чиним оборудование в экстремальных условиях
Привет, Хабр! Меня зовут Артур Габдрахманов, я начальник отдела транспортных сетей в ИТ-компании РТК-Сервис. Это мой первый опыт ведения блога, хотя интересных историй из жизни инженеров на сетях связи, которыми я могу поделиться, накопилось уже немало.
Работая на сетях связи по всей России, наши инженеры — сетевики и транспортники — часто попадают в ситуации, когда нужно подключать не только профессионализм, но и смекалку наряду с готовностью к подвигам.
В этой статье я расскажу, как мы добирались до объекта на 4 видах транспорта, как по фото пытались определить неисправность и собирали «тревожный чемоданчик», прежде чем ехать на другой конец России, и как пробирались через стаю полудиких собак к узлу связи. Экстрим на позитиве — лозунг нашей инженерной команды!
Есть у нас большой заказчик — оператор связи, который имеет базовые станции буквально в каждом уголке страны. Помимо базовых станций, сеть состоит из узлов, линий связи и программных средств (DWDM и IP-систем), которые периодически требуется чинить, обслуживать, восстанавливать. И наша команда как раз этим занимается. У компании — 32 региона присутствия, но самих регионов в стране сильно больше. И мы можем высадиться в любом, причем достаточно быстро, но зачастую такие поездки похожи на путешествие в Нарнию. Потому что не знаешь, что тебя может ожидать.
НОВЫЙ БОР
Бывает, что просто добраться до нужной точки — уже целая история. Как раз такая и случилась, когда мы работали на одном из проектов. Под занавес 2023 года заказчик добавил в проект площадку Новый Бор, хм, весьма удаленное сельское поселение в Республике Коми. И… о, да, эта площадка досталась нам. Путь до объекта выглядел в стиле «Вижу цель, не вижу препятствий».
Вообще сложные поездки с использованием самого разного транспорта для нас — не редкость. На лодке, вездеходе, пешком через лес, на самолетах и поездах. Но в этот раз — уже рекорд! Это был самый сложный путь, с которым пришлось столкнуться. Наш инженер в одиночку его преодолел на четырех видах транспорта.
Путь начался с Питера, по классике, самолетом до Сыктывкара. С собой был чемодан и спальник (ну вы же понимаете, зачем спальник). Ну, а дальше начались приключения, так как прямого сообщения с Новым Бором, конечно, нет. В местном аэропорту Сыктывкара Алексей приземлился в два часа ночи, там его ожидал по уши засыпанный снегом внедорожник LADA Largus Cross. Леша еще пару часов раскапывал его и завел с толкача — аккумулятор сел, потому что авто стояло около месяца на морозах до минус 30. На этом внедорожнике проехал почти 700 км до первой переправы, где пересел на катер на воздушной подушке, который доставил Лешу на другой берег Печоры. Ветер в лицо, бешеная скорость, потрясающие виды реки! Забавно, что многие даже платят огромные деньги за такой экстрим. Но как показывает практика, не каждый способен пройти через такие условия от начала и до конца с позитивным настроем. Ибо ледяной воздух и брызги в лицо — это то еще испытание. В данном случае выбора особо не было, Алексей еще и фоток и видео местных красот нам наснимал.
Далее наш коллега сел на автобус до села Усть-Цильма, переночевал там и утром на вертолете полетел в поселок Новый Бор. Это пассажирский вертолет, организованный местными властями на период распутицы. 1,5 часа он любовался почти необитаемыми лесами и реками. И казалось бы, ну сколько можно. Но нет.
У площадки, где приземлился вертолет, Лешу уже ждал снегоход с деревянными санями, тоже местный «рейсовый автобус». На нем он домчался до контейнера с оборудованием — так называемого необслуживаемого усилительного пункта (НУПа). Два дня он жил прямо в этом контейнере — гостиниц поблизости нет, а вертолет летает всего два раза в неделю — и шаманил с DWDM-оборудованием. Кстати, приборы для монтажа и преднастройки инженер предусмотрительно взял с собой.
Любопытно и приятно, что в большинстве таких точек, где глушь да техника вокруг, сразу предусматривается какое-то спальное место — раскладушки, диванчики. Это не от особой любви к комфорту, о нем речь не идет, а просто потому, что найти ночлег в округе часто просто нет шансов.
Вид инженера: «отдыхающий»
ТЫНДА
Снег и непроходимые тропы буквально притягивают нас. В январе другой наш коллега, ведущий инженер группы сопровождения транспортных сетей, совершил марш-бросок в Тынду. И там, в одном из самых северных городов Амурской области, он собрал узел-регенератор связи.
Вообще, как устроено. Через Лопчу, поселок в Тындинском районе, проходит транзитная линия Европа−Азия. По ней идет коммерческий трафик из Латвии и Финляндии до Находки, а дальше — в Китай и Японию. В январе в здании, где располагалось сетевое оборудование, вспыхнул пожар. Пострадала DWDM аппаратура Coriant.
Ремонт начали сразу, но останавливать трафик было недопустимо. На помощь пришел Марат, наш инженер. Заказчик сам обеспечил всем ЗИПом, но вот дорога и условия для работы снова были непростыми.
Для начала нужно было вылететь из Москвы до Иркутска, но при взлете шел жуткий ледяной дождь и самолет дважды возвращали на очистку. Марат еле успел на стыковочный рейс из Иркутска в Нерюнгри. Кстати, уже в Иркутске было минус 40, серьезный такой перепад температуры. В общем, путешествие продолжилось из Нерюнгри на поезде в Тынду, где наш коллега и остановился на время работ. Других вариантов, собственно, не было — только в этом городке была небольшая придорожная гостиница. Как рассказывал нам Марат, Тынду называют «Столицей БАМа», а живет там менее 30 тыс. человек. Собственно, оттуда он ездил на объект в Лопчу и на узел связи, который располагался в 10 км от города на сопке высотой 600–700 метров. Передвигались на УАЗике, а местные сторожа узла связи отгоняли от ремонтников стаю полудиких собак. Впечатлений хватило! В любом случае, Марат собрал узел-регенератор из ЗИП, настроил его, написал инструкции и проинструктировал местных инженеров.
Впереди — возвращение узла связи в Лопчу. Но это уже после ремонта помещения. На работу будет всего 2 часа (больший перебой в связи будет уже критическим), так что нас ждет еще один вызов.
НАХОДКА
В том же январе инженеры летали в Находку чинить оборудование, и эта история — скорее, про командных дух и альтруизм коллег. Задачка была следующая.
Дано: на дне моря между Находкой и японским городом Наоэцу проложена волоконно-оптическая линия связи с частотным уплотнением DWDM. Эта подводная система RJCN (Russia-Japan Cable Network) представляет собой два кабеля длиной 900 км и соединяет Россию и Японию прямым высокоскоростным маршрутом.
В начале января в Японии произошло землетрясение. Случилось так, что оба кабеля оказались повреждены. Если бы был поврежден только один, то, используя резервное направление, можно было бы сохранить коммерческий трафик. Но, увы… со 2 января трафик на Японию отсутствовал как для внутренних потребителей, так и для клиентов — операторов связи.
Дальше — хуже. Когда аварийно-спасательный борт уже вышел в море, и аварийная бригада приступила к выполнению подводных работ, нашли неисправность оборудования PFE (Power Feeding Equipment), расположенного на береговой станции. Эта система обеспечивает активные компоненты подводной линии связи электропитанием до 1000В. В итоге система PFE не просто аварийно отключилась — при попытке включения срабатывали защитные автоматы на преобразователях питания.
Ситуация была напряженной, и, если откровенно, казалась почти безвыходной: у нас не было ни фото, ни видео того, что происходит с оборудованием, в каком оно сейчас состоянии, никакой возможности дистанционно оценить ситуацию. А на замену железа — считанные дни (именно за этот период планировалось починить кабели), и с каждым часом время сокращалось. Что делать. Заказчик попросил выехать для диагностики, а в идеальном сценарии — ремонта (мало кто верил, что это возможно).
Важная деталь: система — производства NEC. Вендор ушел из России, и мечтать о поддержке с его стороны не стоит. Уровень неопределенности в ситуации — максимальный. Но когда нас это останавливало!
В общем, собрали все, что можно, из оборудования (ЗИП), инструментов. Все максимально автономное, мобильное, на аккумуляторах. Даже инструменты для спайки оптоволокна на аккумуляторах быстро доставали: не знали, есть ли на месте вообще электричество, куда можно будет подключиться. Собирали «по ощущениям», так как вообще не представляли, что придется ремонтировать, возможен ли ремонт, и какие условия для работы есть на месте.
Собирали «десант» в дорогу всем отделом ремонта. Раньше «тревожного чемоданчика» у нас не существовало (но теперь есть). Заказчик тоже старался. Прямо перед выездом, вечером смогли прислать несколько не очень разборчивых фотографий поломок — на точку наконец кто-то смог добраться. Чуть скорректировали набор вещей в дорогу: каждый час до вылета потратили на поиски и покупку в обычных магазинах комплектующих, маленького лабораторного блока питания, компактной паяльной станции и т.д. Коллеги из дома приносили переносной фен, походный рюкзак…с миру по нитке.
Прилетели. Начали диагностику, выявили неисправность. Оказалось, что проблема была с одним из блоков системы, который обеспечивает контроль и мониторинг параметров электропитания (напряжение, силу тока и т.п.) и сравнивает с эталонными значениями. Из-за сбоя датчиков в блоке контроля значения параметров выходили за границы порогов и выдавалось ложное сообщение об аварийной ситуации. В общем-то, все не так страшно, неполадку устранили. На месте перепаяли неисправные компоненты на новые (как же мы радовались портативной паяльной станции, которую прихватили в дорогу!). Получилось запустить систему PFE в штатном режиме. Уже на второй день наладили «жизнедеятельность» проблемного блока, который выдавал ложную аварию. Третий день был контрольным — для проверки стабильности работы. И вот, за 3 дня в Находке коллеги полностью восстановили работоспособность оборудования!
Когда пришла новость, что разобрались с неисправностью, было сложно сдерживать эмоции. Наш рабочий чат, включавший коллег со стороны заказчика, просто разрывался от количества смайлов и довольных эмодзи.
Дима, один из инженеров, с системой PFE в Находке
МОРАЛЬ (а мораль есть всегда)
Сложности нас только закаляют, а когда ты работаешь плечом к плечу с профессионалами, причем заряженными, неравнодушными, смелыми — это отдельное удовольствие. Я каждый раз прихожу на работу и не знаю, окажусь ли на этой неделе на Юге или где-нибудь на Чукотке. Но точно знаю, что каждый новый день не похож на предыдущий.
А какие вызовы были у вас? Куда приходилось добираться? Поделитесь.
Habrahabr.ru прочитано 2056 раз
