Как мы создали лабораторию pLTE и при чем тут экскаваторщики24.01.2024 18:00

Хабр, привет! В прошлом году мы решили взять курс на развитие в направлении частных сетей сотовой связи. Чтобы нарастить компетенции в этой области и в будущем легко демонстрировать заказчикам, что такое частная LTE-сеть, мы купили в свою лабораторию полнофункциональный тестовый стенд.

Под катом рассказываем, как мы развернули демостенд, который можем привезти к заказчику в любую точку мира и показать на примере, как работает частная сеть LTE.  

Описание стенда

Если говорить о составе стенда pLTE, то он включает в себя следующие компоненты:

• Подсистема «pLTE» — обеспечивает беспроводной сетевой транспорт для передачи пользовательских данных и состоит из:

  • EPC (Evolved Packet Core) — ядро сети LTE, обеспечивающее учет абонентов и подключение их к сети, а также отвечающее за передачу абонентских данных между RAN и корпоративной СПД;

  • RAN (Radio Access Network) — совокупность базовых станций eNB, управляющих элементов и протоколов, обеспечивающих подключение абонентских терминалов, передачу данных и взаимодействие с EPC по радиоканалу (в нашем случае подсистема представлена одной БС);

  • NMS (Network Management System) — ПО для управления настройками EPC и базовых станций, состоящее из сервера управления с установленным ПО и АРМ администратора.

• Подсистема Push-to-Talk — обеспечивает интеграцию с сетями радиосвязи и телефонными сетями, подключение, учет и диспетчеризацию абонентов, передачу голосовых, видео- и геоданных.

• Подсистема ESR — маршрутизатор с подключенным модемом 4G, обеспечивающий проводной сетевой транспорт для остальных компонентов комплекса.  

•  Подсистема синхронизации (Time Machine) — представляет собой выделенный физический сервер и служит источником точного времени для компонентов комплекса. Отсчеты точного времени формируются на основе данных, получаемых со спутников GPS, с точностью до 2 мкс.

Архитектура решения

В аппаратные компоненты стенда входят мобильное шасси 19» высотой 6RU с вмонтированными в него роутером и серверами, базовая станция, абонентские терминалы и АРМ администратора. Такая компоновка обеспечивает мобильность и позволяет в максимально короткие сроки разворачивать его на новой площадке.

Компоновка мобильного шасси

Характеристики базовой станции представлены в таблице ниже.

Возможно подключение дополнительных базовых станций аналогичной или иной модели, поддерживаемой EPC, например, для тестирования и демонстрации хендоверов. В качестве абонентских терминалов мы использовали носимую радиостанцию, смартфон на базе ОС Android, стационарную автомобильную радиостанцию с тангентой и видеокамеру с поддержкой сетей сотовой связи 3G/4G. Для управления стендом был выбран АРМ администратора — ноутбук на базе ОС Windows 11 с предустановленным ПО.

Маршрутизатор оснащен восемью портами Ethernet 10/100/1000BASE-T и четырьмя портами Ethernet 1000BASE-X SFP, также к нему подключен USB 4G-модем с доступом в Интернет. Такая схема обеспечивает полную автономность стенда при проведении выездных демонстраций.

По отказоустойчивой схеме выполнено подключение к офисной сети (двумя портами 1000BASE-X SFP) и подключение сервера EPC (двумя портами Ethernet 10/100/1000BASE-T). Остальные компоненты не имеют достаточного количества портов для отказоустойчивого подключения.

Электропитание подается через backplane мобильного шасси. Серверы Time Machine и Push-to-Talk имеют резервный источник питания в виде встроенных АКБ. Базовая станция и APM администратора подключаются к сети электропитания отдельно.

Сетевая инфраструктура стенда

Маршрутизатор — ядро сети стенда, обеспечивающий интеграцию с корпоративной сетью и доступ во внешние сети через подключенный USB-модем. Включение в корпоративную сетевую инфраструктуру выполняется на физическом и канальном уровнях модели ISO OSI двумя каналами Gigabit Ethernet, агрегированными в LAG. Взаимодействие сегмента сети стенда и сетевой инфраструктуры осуществляется на сетевом уровне модели ISO OSI. Для обмена маршрутной информацией применяется статическая маршрутизация.

Изоляция различных типов трафика внутри стенда возможна за счет распределения по разным VLAN и VRF на втором и третьем уровнях модели ISO OSI. Маршрутизация трафика между VLAN проходит на маршрутизаторе, к которому подключаются серверы с помощью интерфейсов Gigabit Ethernet.

Инфраструктурная схема стенда pLTE

Управление стендом

Ниже рассмотрим, как происходит управление разными компонентами стенда:

 Диспетчерское управление абонентами и группами осуществляется посредством специализированного ПО, поставляемого в составе комплекса.

Как мы развернули это у себя

Процесс закупки и производства демонстрационного стенда private LTE занял четыре недели. Перед тем как мы получили готовое оборудование со статусом ТОРП от отечественного вендора, он провел для нас пятидневное обучение на нашем тестовом стенде. Это помогло нам поближе познакомиться с его функционалом и научиться работать с системой.

Фото первоначального тестового стенда private LTE

Демостенд мы установили у себя в серверной, и изначально это была полностью автономная система, не подключенная к нашей корпоративной сети. В первую очередь мы сделали тестовые вызовы Push-to-Talk и проверили зону обслуживания базовой станции (БС). Затем начался тернистый путь, на котором мы решили несколько кейсов.

КЕЙС №1. «Ошибка повторной регистрации»

В первый же день мы обнаружили ошибку, которая не позволяла абоненту повторно регистрироваться в сети. Дела обстояли так: включаем базовую станцию и ядро — сеть доступна. Включаем рацию, она регистрируется в сети — пока все нормально. Выходим из зоны обслуживания сектора — рация теряет сеть. Снова входим в зону обслуживания сектора — находимся около базовой станции, но рация сеть не видит и не может повторно в ней зарегистрироваться.

Причины: От рации идет запрос на повторную регистрацию в сети, базовая станция не понимает, что от нее хотят, и перестает работать.

Решение: В процессе общения с вендором мы поняли, что это ошибка программного обеспечения, и нам заменили базовую станцию.

КЕЙС №2. «Смартфон не поддерживает диапазон частот БС»

После замены базовой станции мы столкнулись с новой проблемой — смартфон не видел сеть.

Причина: Смартфон не поддерживает тот диапазон частот, в котором работает базовая станция.

Решение: Обновление прошивки смартфона.

КЕЙС №3. «Интеграция с корпоративной сетью передачи данных»

После настройки работы оборудования демостенда pLTE нам необходимо было интегрировать его с нашей офисной сетью, чтобы:

— соединяться с оборудованием, которое есть в корпоративной сети — IP-телефонией;

— выходить в Интернет;

— предоставлять пользователям доступ для удаленного управления.

К счастью, каких-либо серьезных технических проблем на данном этапе мы не встретили, но нам потребовалось время для согласований с собственной службой безопасности и ИТ-подразделением. Преднастроенная вендором IP-адресация не позволяла комфортно интегрировать стенд в нашу сеть. Пришлось менять IP-план и приводить адресацию на оборудовании ему в соответствие. Со сменой адресов тоже пришлось повозиться — в документации процедуры смены IP либо не описаны, либо это сделано плохо, а один из компонентов потребовал переустановки для смены IP.

После всех маневров у нас появился доступ в Интернет и возможность удаленного подключения к системе. Сейчас с компьютера сотрудника, у которого есть доступ в корпоративную сеть, можно зайти на любой элемент нашего стенда: базовую станцию, ядро, систему управления (OSS), SGW, сервер MCPTT.

Задача про экскаваторщика

Когда мы рассказываем заказчикам про функционал и возможности частных LTE-сетей, то очень часто слышим вот такие вопросы: «А сможет ли директор нашей компании со своего айфона позвонить экскаваторщику и узнать, как идет процесс копания траншеи?» При этом директор пользуется айфоном, а экскаваторщик — рацией без экрана, только с возможностью выбора канала. Мы решили попробовать, сможем ли мы это сделать. Спойлер: смогли!

Решение задачи:

Учитывая, что у нас есть SIP-шлюз (SIP Gateway), мы могли прописать офисную телефонию в стенд. Но как прописывать стенд — как абонента или как транк? Первый вариант был проще, но тогда мы бы не смогли принимать второй вызов или создавать конференцию. Второй способ был сложнее, так как требовались дополнительные настройки со стороны офисной АТС. По итогу мы проверили оба варианта и сейчас при надобности можем в течение пяти минут делать переключение с одной конфигурации на другую.

В результате тестирований мы получили систему, которая:

— позволяет организовать покрытие на этаже в здании;

— обеспечивает сервис MC-PTT;

— обеспечивает для абонента выход в Интернет;

— взаимодействует с SIP-телефонией в офисе.

Но вся эта система была подключена к нашей корпоративной сети проводами, и мы могли показать ее заказчику только у нас в офисе. А что делать, если он попросит привезти стенд к себе на производство?

Показываем демостенд pLTE на территории заказчика

Чтобы сделать демонстрационный стенд pLTE мобильным и при этом оснастить его возможностью удаленного управления, мы решили отсоединить провода, которые связывают систему с нашей офисной сетью. Затем мы взяли USB-модем с сим-картой обычного оператора и подключили его к маршрутизатору в стенде. Так мы снова получили связь с внешним миром.

Однако мы лишились связи с офисной телефонией. После совещаний и споров мы пришли к выводу, что с учетом политик доступа и безопасности не получится настроить доступ к офисной телефонии через Интернет.

Для решения этой задачи мы купили номерную емкость в облачной АТС и создали двух абонентов:

— первый номер — наш демостенд;

— второй номер — софтфон на любом устройстве (компьютер или смартфон).

Звонок по направлению Демостенд pLTE → Софтфон прошел сразу. А звонок в обратную сторону Софтфон → Демостенд pLTE не проходил — получали сообщение, что абонент занят.

В ходе долгих тестов внутри, а также при помощи техподдержки вендора и облачной АТС проблема была идентифицирована. Нужно было «дать понять» SIP-шлюзу, на который приходит звонок, что с этим входящим вызовом делать, как дальше его адресовать на наш сервер MCPTT, который уже переадресует вызов на диспетчера, абонентскую группу или конкретного абонента. И решение, как это иногда бывает, с самого начала было у нас перед глазами, но мы не придавали ему значения — это правила обработки входящих вызовов.

А что с частотами?

Частные сети сотовой связи стандарта LTE в большинстве случаев работают на частотах в диапазоне от 450 МГц до 2,6 ГГц, принадлежащих операторам сотовой связи. При строительстве частной сети стандарта LTE оператор выделяет предприятию частоты, а также назначает стоимость их аренды, услуг по эксплуатации сети и технической поддержке оборудования. Можно попробовать получить их самостоятельно от ГРЧЦ, но это процесс небыстрый и обычно длится до 12 месяцев, а результат никто не гарантирует.

Нам частотное разрешение не потребовалось, так как наша сеть работает в тестовом режиме с мощностью передатчика не более 50 мВт.

Как итог

Спустя три месяца достаточно активной работы наш демостенд частной LTE-сети полностью автономен. Мы можем привезти его в любую точку мира, воткнуть в модем сим-карту местного мобильного оператора, получить доступ в Интернет и соединиться с облачной АТС. Мы уже демонстрировали оборудование во время публичных мероприятий Linkmeetup и IT Elements. 

Фото с конференции IT Elements

В ходе тестов мы нарастили наши компетенции в области pLTE и запустили подобную услугу для заказчиков. Сейчас наш демостенд Private LTE может решать следующие бизнес-задачи

• обеспечение сплошного бесшовного покрытия (подключение к сети Интернет не нужно);

• сервис профессиональной радиосвязи MC-PTT (подключение к сети Интернет не нужно);

• сервис позиционирования сотрудников через диспетчерское приложение и встроенные GPS-модули на рациях (подключение к сети Интернет не нужно);

• возможность выхода в Интернет с абонентских устройств (необходимо подключение к сети Интернет);

• SIP-телефония (необходимо подключение к сети Интернет, однако этого можно избежать, если есть разрешение на подключение в корпоративную сеть предприятия и к корпоративной АТС);

• подключение IP-камеры (необходимо подключение к сети Интернет, однако этого можно избежать, если есть разрешение на подключение в корпоративную сеть предприятия и к корпоративным серверам видеонаблюдения и СХД).

© Habrahabr.ru