LTE на руднике — как мы строили приватную сотовую сеть для горняков
Из этого поста вы узнаете, как построить компактную и быструю сотовую сеть для нужд большого производства. Изучим архитектуру Private LTE, рассмотрим базовые станции, ядро сети и поговорим о том, с какими сложностями мы столкнулись в процессе их установки.
Для начала о месте действия. Мы работали на Жайремском горно-обогатительном комбинате в Карагандинской области Казахстана. Это полиметаллическое производство принадлежит ГК «Казцинк». Оно работает с разными ископаемыми, но в основном это цинк и свинец.
Жайремский ГОК — большая промышленная зона с тремя карьерами, обогатительной фабрикой, цехами для обслуживания карьерной техники и административно-бытовым комплексом. Она занимает почти 36 квадратных километров. Нашей задачей было накрыть все это единой беспроводной сетью передачи данных.
В первую очередь Казцинк хотел реализовать передачу телеметрии с техники на центральный сервер, а также голосовую и видеосвязь для сотрудников. Причем сеть нужно было спроектировать с таким расчетом, чтобы она работала с минимальными задержками, и на ее основе можно было строить любые системы цифровизации производства.
Связь на руднике и зачем она нужна
Рудник не может работать без радиосвязи. Без нее невозможно управлять сотрудниками на большой территории и реагировать на ЧП.
Обычно на таких предприятиях используют транкинговую радиосвязь Tetra или DMR. Это те самые рации размером с первый сотовый телефон, которые показывают в кино. Они подходят только для голосовой связи.
На более оснащенных производствах встречается Wi-Fi, но, как правило, не на всей территории карьера, а только в узловых точках. К стоянкам для транспорта или буровым станциям иногда прокладывают кабельную инфраструктуру — оптику или медь. Такие каналы используют для автоматизации производства, для систем АСУ ГТК и АСУ ТП.
Казцинк рассматривал для Жайремского ГОК Wi-Fi сеть. Такая уже работает на другом их предприятии — Васильковском ГОК, но сотрудники компании сравнили Wi-Fi и Private LTE и, не без нашей помощи, выбрали вторую технологию.
Почему сотовая связь
Мы используем Wi-Fi, но в других проектах, на статичных предприятиях, например, для цифровизации цехов. ГОК — другой случай. Здесь необходимо охватить большую территорию и обеспечить бесшовной связью движущуюся технику.
Чтобы добиться этого при помощи Wi-Fi, придется расставлять точки доступа через каждые 100–200 метров по всему карьеру. А еще вкапывать десятки, если не сотни столбов, подводить электричество и регулярно все это проверять и обслуживать. Несколько сотовых станций получаются проще в установке и заметно дешевле в обслуживании.
К тому же, у LTE меньше проблем с помехами. Wi-Fi — открытый стандарт и эфир сильно захламлен. А на горнодобывающих предприятиях существует трафик, который не толерантен к задержкам, джиттеру и интерференции. Радиосеть даже используют для взрывных работ — здесь крайне важна стабильность сигнала.
При этом, развернуть Wi-Fi сравнительно просто, но далеко не каждый интегратор возьмется за то, чтобы построить частную сотовую сеть. Ведь мало достать и установить оборудование, необходимо все правильно спланировать и получить разрешение на радиочастоты.
В этом преимущество Beeline Казахстан — мы много лет строим сотовые сети, и у нас есть лицензированные частоты. Однако, для нашей группы компаний это был первый подобный проект. Пришлось применять много непривычных решений. Например, мы выпустили специальную партию SIM-карт, но обо всем по порядку.
Планирование сети
Наши инженеры начали обследование территории и радиопланирование еще на стадии предпроектной подготовки. Обычно они приезжают на место с набором специализированного оборудования и проверяют, есть ли поблизости здания или вышки, на которых можно поставить антенны.
На территории ГОК таких не оказалось, так что пришлось планировать установку наших АМС (антенно-мачтовых сооружений). Мы рассчитали нужную высоту подвеса антенн и необходимую мощность передатчиков по рельефу местности. Обычная задача, если бы не карьер. Все же, это довольно подвижная субстанция.
Чтобы со временем базовые станции не сместились вместе с грунтом, пришлось поднять планы по горным разработкам на несколько лет вперед. Мы нашли места, рядом с которыми точно не будут копать и запланировали установку 5 базовых станций. Дальше занялись EPC.
Ядро сети
Главное отличие Private LTE от коммерческих сетей в том, что используется не операторское, а отдельное EPC — Evolved Packet Core.
Чем ближе ядро сети к точкам инициации трафика — тем надежнее и быстрее сеть. Мы разместили его на территории предприятия, в небольшой серверной на третьем этаже административно-бытового комплекса. До нас там стояли только стойки с коммутаторами, да системы внутренней телефонии.
Поскольку оборудование не из дешевых, организовали тендер. На это ушло около 6 месяцев, но оно того стоило. Мы нашли сразу несколько надежных поставщиков для будущих проектов.
Допуск на предприятие
Когда все формальности были соблюдены, ядро привезли в течение недели. У нас на складах всегда хранится запас оборудования для базовых станций, так что оставалось только все установить.
Обычно для допуска на промышленные предприятия нужен ППР — план проведения работ, в котором описано, что мы собираемся делать и, с недавних пор, свежий ПЦР-тест. Мы ожидали, что и в этот раз будет также, но, как бы не так.
Сначала не касаясь ковида. Оказалось, что Казцинк входит в швейцарскую группу компаний Glencore. Требования к технике безопасности, документации и процедурам, которым следуют в Швейцарии, распространяются и на Казцинк.
Из-за этого ППР превратился в многостраничный талмуд. Пришлось расписывать все, вплоть до того, какие каски будут носить сотрудники, каким стандартам соответствуют и как давно прошли проверку. На каждую рабочую бригаду готовили отдельный пакет документов, и, если один человек менялся, приходилось оформлять все заново.
Подготовка бумаг заняла около месяца, и еще столько же потребовалось, чтобы их проверила служба безопасности ГОК.
Затем мы столкнулись с ограничениями по транспорту. На территорию рудника пропускали только полноприводные не легковые автомобили. На каждый нужно было поставить проблесковые маячки, наклеить светоотражающие полосы, а на крыше установить двухметровый красный флаг, как на первомайской демонстрации. Это все для того, чтобы наш транспорт был хорошо виден с высоты кабины карьерного самосвала. ДТП с его участием — не шутка.
Перед тем как получить допуск на территорию, наши сотрудники должны были пройти двухдневное обучение технике безопасности. А тут еще и ковид.
От всех требовали справки. Все бы ничего, но они были действительны в течение 3 суток, а ближайшая лаборатория, где делают ПЦР-тесты, находилась в городе Жезказган в 300 километрах от рудника.
Один день ждешь результатов теста, на второй — мчишь на рудник, а за третий нужно успеть пройти обучение, поставить все печати и получить допуск на территорию.
Со справками мы еще как-то успевали, пускай иногда приходилось ездить в город по несколько раз, но вовремя выполнить требования к автомобилям не получалось. Чтобы уложиться в сроки, пришлось договариваться с водителями, у которых уже был подходящий транспорт.
Базовые станции и архитектура сети
Наконец, когда все получили допуск, мы начали установку базовых станций. С виду они напоминают бытовки, в которые воткнули 10-метровую металлическую мачту с монополем, но вообще-то, это технологичный термоконтейнер.
Внутри — кабельросты, стойка для оборудования, система питания, кондиционер и обогреватель. Температура в карьере колеблется от -20 в январе до +32 в июле, так что без климат-контроля не обойтись.
С электричеством помог ГОК. По территории проложены высоковольтные электрические кабели. Для базовых станций привезли и подключили отдельные трансформаторные подстанции.
Мы выделили частотный диапазон, объединили базовые станции под один TAC — Tracking Area Code и соединили с ядром сети при помощи радиорелейных линий. Их можно сравнить с обычными Wi-Fi мостами, но это оборудование операторского класса. РРЛ стабильнее и обладают большей пропускной способностью.
Радиочасть устроена так же, как в публичной сети, но серверная выглядит иначе.
Все базовые элементы, предусмотренные стандартами 3GPP, продублированы: два узла управления мобильностью MME, пара SPGW, кластеры из двух PCRF. и HSS (Home Subscriber Server). Плюс, OSS-система для управления компонентами ядра сети.
Что касается архитектуры, на серверной части мы применили концепцию NFV (Network Function Virtualization) на базе виртуализации VMware. Все компоненты системы разнесли по 3 физическим серверам.
Сервера мы подключили к паре стекируемых коммутаторов. К ним двумя линками подвели RAN-сеть, двумя линками соединение сервер-коммутатор для каждого сервера. Плюс два линка пробросили до локальной сети клиента. Такая конфигурация дает уверенность, что какой бы узел ни упал, сеть продолжит работать.
Делаем сеть приватной
На территории административно-бытового комплекса ГОК работала коммерческая 2G и 4G связь. Еще на стадии радиопланирования мы убедились, что другие передатчики не влияют на качество сигнала, но сети нужно было четко разграничить, чтобы устройства из приватной сети никак не взаимодействовали с публичными.
За это отвечает набор идентификаторов, которые присваиваются SIM-карте и показывают, что она принадлежит к конкретной сотовой сети.
Характеристики сети
В результате, 5 базовых станций LTE в диапазоне B20 обеспечили покрытие на всех 36 квадратных километрах территории ГОК без потери пакетов при перемещении клиентского устройства от одной базовой станции к другой (handover).
Мы использовали полосу 10 МГц. В переводе на пропускную способность это стабильные 30 Мбит/с на uplink и downlink, но так как на радио сети установлены антенны MIMO 2×2, при использовании клиентского оборудования с поддержкой этой технологии можно добиться до 60—70 Мбит/с. Задержка от клиентского устройства до локальной сети клиента составила максимум 20 мс. Осталось только предоставить необходимые сотрудникам ГОК сервисы.
Телеметрия
Private LTE позволила решить основную задачу — установить на транспорт бортовые компьютеры и связать их с центральным сервером.
Компьютеры на грузовиках нужны, чтобы подключить камеры, GPS и разнообразные датчики: загрузки кузова, уровня топлива, температуры и давления в шинах. Вся эта телеметрия позволяет отслеживать состояние техники и вовремя ее обслуживать. Это важно, потому что, время — деньги, а, например, лопнувшая передняя шина может вывезти самосвал из строя на 4 часа, а задняя внутренняя на все 8 часов.
Причем, данные с компьютеров не просто сохраняются в базу данных. Они поступают в автоматическое аналитическое ПО, которое автоматически рассчитывает оптимальные маршруты и расписание, чтобы сократить время движения пустых грузовиков, простои и очереди на погрузку.
Голосовые и видеовызовы
В отличие от 3G, LTE не поддерживает голосовые сервисы. Чтобы сотрудники ГОК могли совершать звонки, мы развернули специальную платформу диспетчеризации на базе стандарта MC PTT (Mission Critical Push To Talk). Она объединяет функции рации, мессенджера и системы управления персоналом.
На сервере в локальной сети клиента устанавливается диспетчерская консоль, доступная через браузер, а на клиентских устройствах — специальное приложение.
Пользователи разбиваются на группы по сменам и ролям на производстве, например, горняки в одной, вспомогательный транспорт в другой, а взрывники и буровики в третьей.
По нажатию одной клавиши (Push To Talk) каждый участник может вещать на всю группу, так, будто он говорит по обычной рации. Однако, MC PTT также позволяет делать видеовызовы и индивидуальные звонки.
Кроме того, платформа поддерживает текстовые сообщения, обмен файлами, мультимедиа. Через нее диспетчер получает координаты персонала и видит уровень заряда каждого устройства связи.
Заключение
Оперативная связь и системы управления производством снижают затраты и повышают эффективность добычи. ГОК не раскрывает точные цифры, но счет идет на миллионы долларов прибыли.
И это только начало, Private LTE создает платформу для продвинутой цифровизации: внедрения IoT, комплексных digital-платформ, использования дронов и беспилотников.
Все это ассоциируется с 5G, но пока что существует не так много реальных кейсов, в которых реализуются преимущества сетей пятого поколения. Даже если удастся получить разрешение на использование частот.
5G обладает большей спектральной эффективностью, позволяет передавать больше информации на 1 МГц частоты и обеспечивает меньшую задержку. Однако, если вы не собираетесь засеять всю территорию карьера беспроводными датчиками, стримить с каждой камеры 4K-видео или управлять техникой с другого конца страны, вам хватит возможностей 4G.
Практика показывает, что IoT и системы видеоаналитики нормально работают с Private LTE. Транспорт с высокой степенью автономности на расстоянии десятков километров — тоже. При этом для 5G необходимы более дорогие ядро и базовые станции с меньшей площадью покрытия.
Со временем оборудование станет дешевле, и ему найдется достойное применение. Тогда сеть можно будет обновить (мы заложили такую возможность в проект), но пока что нет смысла переплачивать. Новые технологии должны приносить реальную пользу — повышать безопасность и производительность труда, снижать издержки, и Private LTE делает это уже сегодня.
