Интернет провайдер и его Клиент у которого сеть упала
Мы называем это вторником
Не так давно я работал сетевым инженером в региональном Интернет провайдере с услугами, в основном, для домашних абонентов. А потом ушёл в корпоративный сегмент, в компанию с большой филиальной сетью по России. И помимо того что это другой опыт и другой взгляд на профессию — это другой взгляд на провайдера и его взаимодействие с клиентами, теперь уже со стороны клиента. Нельзя сказать, что для меня получилось сделать какие-то невероятные открытия в этом взаимодействии, нет, но какие-то моменты получилось сформулировать более точно, про них и будет в этой статье. Рассмотрим реальные, я думаю типичные, ситуации из практики работы сетевого инженера в бизнес компании с провайдерами Интернет через призму отношения к этому со стороны провайдера в том числе.
Сразу скажу в чём, на мой взгляд, главная причина недопонимания между этими двумя героями. Любой, даже маленький провайдер это массовый продукт: сотни, тысячи и десятки тысячи единиц оборудования, сотни, тысячи и десятки тысяч километров кабеля, гигабиты и терабиты трафика, тысяча, две, три, миллион клиентов. А как и для любого массового продукта разница между отдельными его частями стирается, во многом это умышленный ход — унификация великая вещь, благодаря которой массовость и достигается. И каким-бы ни был клиентоориентированным провайдер, в среднем, один клиент не значит ничего, даже десять ничего не значит. Что-то значит когда отключилось здание целиком, район целиком заметно всегда, магистральное направление или апстрим вообще плохо. Но порог чувствительности — это сотни абонентов единовременно.
В то же время, для клиента каждый провайдер уникальный, даже если он резервируются в конкретном месте, получается два, но никак не сто или тысяча. Поэтому его падение заметно, часто не просто заметно, но и приводит к прямым потерям в бизнесе. Даже если вы очень большой клиент, скорее всего вам не сравниться и со средней руки провайдером у которого в разы больше трафика и каналов между десятками таких же однотипных подключений как у вас. Может быть вы договорились с менеджментом о статусе VIP, прописали этот статус в договоре и платите за это. Но чем дальше от менеджмента в сторону инженерной службы тем меньше этот статус имеет значение — такой же абонентский порт как и десяток других в одном из коммутаторов среди сотни таких же.
Итак, стандартная ситуация — отключается Интернет или канал между филиалами.
А разве что-то случилось?
Вы заметили что что-то не так, возможно в своей системе мониторинга, возможно вам позвонили ваши юзеры и стали жаловаться. Если у провайдера случилась массовая авария, а это сотни его абонентов, то скорее всего он это уже заметил и чинит, от вас никаких действий не надо. Но заметил ли это провайдер или нет вам неизвестно. Если это какая-то мелкая проблема, по меркам провайдера, то упавший порт вполне может и затеряться среди других триггеров. А такого триггера может и не быть, даже скорее его не будет, потому что оборудование клиента это забота клиента, провайдер мониторит своё оборудование и если на нём ничего не случилось, то ничего не случилось.
Случилось — это оборвался кабель, упала какая-то сессия, при этом таких событий сотни, практика абонентов «уходя гасите свет» вместе со всем оборудованием, быстро вырабатывает привычку не обращать на такие события никакого внимания. Возможно, вы всё же реальный VIP, но скорее достали менеджера или директора, он достал начальника админов, он, в свою очередь, достал админов и под вас завели отдельный триггер, но вряд ли, потому что понятных средств мониторинга клиентского оборудования может не быть вовсе.
Бывает, что оператор сам определяет причину и отправляет вам оповещение об аварии, наверное, это лучший вариант, но чистых попаданий на моей практике случается не часто. То есть, приходит письмо об аварии, а ты её не фиксируешь, если таких писем много, скоро они перестают иметь значение. Или письмо приходит уже после того как всё кончилось, это тоже хорошо, но не отменяет необходимости начинать взаимодействие и сообщать о проблеме. С другой стороны, если вы собираетесь делать какие-то работы, сообщите об этом провайдеру, это позитивное событие, хоть скорее всего и не важное для него, и, возможно, это и будет тот мостик с которого начнётся продуктивное общение.
Исходим из того что провайдер про вашу проблему не знает, не замечает, не обращает внимание. Поэтому надо об этом ему сообщить.
Кто звонит?
Узнавший вас сотрудник техподдержки
У вас есть контакты по которым можно добраться до первой линии техподдержки. Супер если вас узнают сразу, даже если это будет после того как вы послушали рекламу при звонке, такое многие практикуют добавляя контакты в CRM: телефонные номера или почту — и даже строя по ним защиту, не принимая обращения с другими данными. Но так не везде и дальше сразу заметно разницу на кого провайдер ориентируется больше, потому что с вас могут попросить всё что угодно от названия, юридического адреса, ИНН, номера договора, адреса точки подключения, номера проблемного канала, автономной системы, до IP или маков. Я помню IP и автономки, а остальное только во внутренних справочниках смотреть и лучше если они будут офлайн и под рукой, потому что во время аварии много времени тратить на поиски нужных данных не хочется. А ещё точка подключения по договору может быть не на том адресе где стоит ваше оборудование и тогда провайдер тоже не сможет вас найти.
Хорошее решение если провайдер нумерует свои каналы уникальными значениями, тогда это гарантированное попадание в нужное место. Но так делают далеко не все, кто делает тот молодец. Главная особенность, наверное, в том что договора это договорной отдел или продажники, а аварии это техподдержка, что совсем другая сфера. И надо чтобы техподдержка со стороны оператора и клиента оперировала знакомыми им терминами, так будет быстрее и комфортнее для всех. В противном случае придётся потратить время на поиск, где же то самое место в котором не работает. Процесс может сильно затянуться перебором всех известных идентификаторов и даже кончится ничем, что на мой взгляд, не найти своего клиента, это прямо стыдно.
Где подключали услугу, туда и идите
Если вдруг вас изначально определили не так, или вообще не нашли, то могут попросить позвонить в другой филиал или написать на другую почту. Не перевести заявку, не переслать письмо, а именно что отправить в другой филиал. При том что обращение было составлено на общий контакт, оно просто неправильно смаршрутизировалось где-то внутри. Такое я видел один раз и больше с таким провайдером мы не работаем.
А вы пробовали выключить и включить?
Перезагрузка помогает, почти всегда
Если, и скорее всего, провайдер не видит никаких проблем на своём оборудовании он вам об этом скажет и будет, на первой линии точно, пытаться решить проблему на вашем оборудовании. По статистике которой они обладают, большинство проблем происходит в зоне ответственности клиентов, домашние операторы об этом знают лучше других, операторы для бизнеса тоже об этом хорошо знают. И в какой-то момент можно услышать: «Пробовали ли вы перезагружать ваш роутер?» — хотя у вас, на самом деле, стоит тяжелая маршруторизационная система.
На второй линии в ход идут другие аргументы, состояния портов, пинги, графики, вопросы про изменения, и точного времени начало проблемы. Один раз мне прислали пинги рабочего стыка в L3VPN, который использовался для соединения всего двух удалённых узлов, с посылом: пинги есть, значит всё хорошо -, но проблемы то были с другой стороны подключения. Со стороны провайдера это выглядит так же — клиент пытается его во всём обвинить, при этом ведёт себя более эмоционально, всё же его эта авария задевает сильнее.
Здесь же следует помнить о зонах ответственности, порой «у нас всё работает, ищите у себя» случается по причине того, что оператор не считает проблемное оборудование своим и клиент его тоже своим не считает. Медиаконвертер, SFP, патчкорд, кросс, надо очень чётко понимать чьи они, что порой забывается через энное количество лет эксплуатации. Не только понимать самим, но и чтобы другая сторона это тоже понимала, то есть иметь зафиксированное на бумаге соглашение где чьё. Однажды, мы подарили абоненту, филиалу банка, свитч, чтобы сделать красивую кроссировку в шкафу, на условиях что он будет заменён ими уже на свой, а этот выкинут. И, конечно, он простоял там много лет, а когда, в конце концов, на нём потребовалось что-то менять техподдержка провайдера очень долго выясняла почему они должны что-то делать на оборудовании клиента, и в итоге его взяли обратно на свой баланс.
Электричество кончилось
Но чаще всего проблемы неработающего Интернета это проблема электричества. В рабочее время, а мы же бизнес, работают в том числе и электрики. На карте провайдера днём не будет всех работающих узлов, на тех которые не работают скорее всего нет электричества. Домашние провайдеры об этом заботятся не сильно: нет электричества на доме, у абонентов его тоже нет — нет проблем, резервировать домовой свитч по питанию не обязательно. Абонентам GPON повезло больше, узел с OLT уже обслуживает много домов и таких узлов не так много, там можно ставить ИБП. Почему не ставить ИБП в каждом доме? Это постоянные, не маленькие затраты на обслуживание и замену батарей, даже если не брать в расчёт стоимость первоначальной установки.
ИБП в шкафу на чердаке: «Зачем я здесь?»
Не важно насколько большой ваш бизнец-центр где вы арендуете этаж или два или целый корпус, и насколько мощные у вас генераторы на случай отключения света. Кабель на этот БЦ, вполне, может быть перекинут с соседней жилой пятиэтажки, в которой планово работает ЖЭК, отключив электричество на весь день. В самом БЦ оператор может исходить из той же логики: нет электричества в БЦ — никто не работает, проблем нет. Там даже может быть установлен ИБП, потому что в прошлый раз вы поругались с провайдером и он пошёл на это, но батарейки там не менялись два года и никто его за эти два года не тестировал, а сейчас он не протянет и пары минут. И, конечно, все провайдеры в БЦ, скорее всего, подключены по питанию из одного места и оно пропадает у всех одновременно, а ваш резервный провайдер тоже не позаботился об ИБП.
Ситуация не меняется, даже если владелец БЦ предупреждает вас об отключении заранее, а вы предупреждаете своего провайдера, а провайдер уже должен был бы получить точно такое же уведомление от владельца БЦ. Тут как раз и выясняется настоящий ли вы VIP, если к вам едут с генератором поддерживать ваше подключение, а в договоре прописаны в том числе и пункты про электричество, желательно со всеми схемами и для всех промежуточных узлов. И даже после всего этого, проверить что работоспособность поддерживается, меняются ли элементарно батареи питания, можно только во время испытаний не вашего генератора и ИБП, а испытания со стороны провайдера, на которые вас должны пустить с аудитом. Мы точно не VIP для своего оператора: изменения в договор по установке ИБП, там где мы не смогли надавить на совесть, так и зависли в недрах нашего провайдера, оставаясь без ответа.
Нерешаемые проблемы
Если, вдруг, случилась не простая проблема, которая требует исследования, то вам может очень повезти встретится с настоящими профессионалами за рамками всех линий технической поддержки общающимся с вами на равных или сильно не повезти, когда после многих безуспешных попыток и перебора всех вариантов провайдер просто напишет: «Давайте заканчивать, это не у нас». Такие проблемы случаются не часто, в целом провайдер устроен очень просто внутри с точки зрения дополнительных функций для большинства клиентов, а проблемы обычно случаются в этих дополнительных функциях. Например, с одним из провайдеров мы договорились на приоритеты трафика по меткам QoS и в целом всё работало хорошо, но провайдер для нас был резервный в этом месте. Когда отвалился основной провайдер и трафик ушёл в резерв мы потеряли всё управление нашей сетью, при том что пользователи проблем не испытывали. Это был фильтр по высшему приоритету меток трафика, который мы использовали для наших служебных целей, но про это, конечно, мы выяснили уже потом.
Сложным, с точки провайдера, инструментом является L2 и то множество механизмов которые к нему прикрутили: снупинги и биндинги, port-security и мультикаст, защита от штормов и перегрузки control plane. Если у вас есть L2 сегмент по инфраструктуре провайдера постарайтесь максимально его упростить, чтобы провайдер вам что-то случайно не зафильтровал. А если что-то зафильтруется, то, скорее всего, это будет ближайший к вам коммутатор, ещё до всяких QinQ, MPLS, VPLS, VXLAN и прочего, где просто не выключили одну из многочисленных функций защиты.
Полагаться на гарантированную скорость в Интернет до любого сайта, тоже не стоит, а вот свои каналы между филиалами надо иногда тестировать на соответствие обещанному.
Чем проще и стандартнее ваше подключение к провайдеру, тем дальше проще в эксплуатации. Идеально если ваше подключение в точности настраивается по памятке с сайта. Тогда нерешаемых проблем может вообще не встретится и вы никогда не доберётесь дальше первой линии ТП.
Всё заработало, проверяйте
Причину произошедшего просто интересно знать, даже если потом её никак не анализировать и не учитывать в своей работе. Вы потратили время, возможно проснулись ночью или подключились с телефона в дороге, вас замучили ваши пользователи и начальниками вопросами когда всё починится, а в финальном письме от провайдера только одна фраза: «Проверяйте, проблема устранена. Ваша заявка закроется автоматически если не отвечать на это письмо.» Если же сломалось у вас, то обязательно скажите об этом провайдеру, на вас тоже потратили время и возможно даже кого-то разбудили, никому не хочется чтобы его заставляли чувствовать себя глупым.
Я уверен что существование как кошка с собакой будет продолжатся дальше, но надо пробовать подружится, это сложно, с учётом того что личное общение скорее всего невозможно, хотя бывает по другому, и потому что все стараются держаться очень формально, а ещё у провайдера таких как вы сотни и сотни. Но если вас запомнят, то лучше чтобы это было в положительном ключе и проблем будет поменьше.
Все совпадение не случайны, а провайдеры и их клиенты известны, Ваш звонок очень важен для нас, оставайтесь на связи.
