Wi-Fi под Невой: как мы построили сеть в самом глубоком метро мира
Свой блог на Habrahabr мы начали с нашего первого и главного проекта — рассказали о том, как четыре года назад построили первую в мире бесплатную сеть Wi-Fi в подвижном составе московского метро. Получив первый опыт строительства транспортной сети Wi-Fi, наша команда реализовала проект еще раз, но уже для жителей Северной столицы.
SAME-SAME BUT DIFFERENT
Архитектуру сети в петербургском метро мы сделали почти такой же, как и в Москве. Точно также подвижной состав в тоннелях едет в зоне сплошного радиопокрытия, создана внутрипоездная сеть и развернута стационарная инфраструктура.
Однако при планировании и проектировании сети Петербурга мы:
- точно рассчитали радиопокрытие тоннелей;
- изменили состав и функции активного оборудования;
- применили оборудование новых поколений (естественно, четыре года прошло);
- виртуализировали больше сервисов, чем в Москве;
применили антенны отечественной разработки и производства.
Но обо всем по порядку.
СЕМЬ РАЗ ОТМЕРЬ
Когда мы занимались планированием сети в Москве, в мире не существовало применимой в наших условиях апробированной математической модели расчета распространения радиоволн в тоннелях. Радиопланирование делалось полуэмпирическим методом. Мы разработали собственный инструмент, который умеет рассчитывать оптимальную расстановку базовых станций в тоннелях и с его помощью провели радиопланирование сети в Санкт-Петербурге.
Совместно с нашим партнером ЗАО «РадиоГигабит» мы разработали математическую модель распространения радиосигнала в тоннелях в частотном диапазоне 3–6 ГГц (кстати, и в других диапазонах тоже). На базе модели написали расчетную программу, которая:
- на входе принимает полный массив данных, описывающих тоннели метро: геометрию тоннелей и станций (форма и размеры в сечении, искривление в горизонтальной и вертикальной плоскостях), материалы стен и потолка тоннеля на каждом участке, наличие или отсутствие разделения путей, ответвления и стоянки/тупики, объекты в тоннеле, влияющие на распространение сигнала (например, гидрозатворы, светофоры, другое оборудование) и т.д.;
- позволяет задать целевую точность расчета (прикидочный расчет можно выполнить быстро, в то время как точный расчет для проекта делается сутками на достаточно мощном суперкластере) и другие параметры;
- позволяет задать характеристики используемого радиооборудования и антенн, а также целевые показатели сети, которых требуется достичь;
- позволяет задать графики и скорости движения составов, а также их размеры/геометрию;
- на базе всего вышеуказанного проводить симуляцию (математическое моделирование) работы сети в тоннеле (причем не только канального уровня, но и с учетом системных эффектов, таких, как движение составов, экранирующих антенны и друг друга при определенных условиях);
- выдавать на выходе целевую расстановку БС, при которой достигаются заявленные целевые параметры сети.
Что именно мы сделали?
- Разработали теоретическую модель распространения сигнала в тоннелях и модели системного уровня.
- Создали несколько измерительных комплексов для проведения натурных измерений и калибровки/корректировки модели.
- Провели несколько итераций измерений и уточнений модели, пока она не начала давать данные, полностью согласующиеся с результатами измерений.
В результате мы получили инструмент практического радиопланирования беспроводных сетей связи в метрополитенах, аналогов которому в мире не существует.
В свое время при планировании сети в Москве у нас были только приблизительные правила расстановки БС (максимальные и минимальные расстояния и т.д.), которыми мы пользовались. Мы проводили тесты в тоннелях для проверки сделанных предположений и на базе результатов вносили в эти правила некоторые корректировки. Теперь мы знаем (проведя исследование нашей сети в Москве с помощью нашего нового инструмента планирования), что многие принятые в начале проекта решения о расстановке, были не оптимальными. Сейчас мы бы поставили многие БС по-другому и в целом увеличили бы их количество примерно на 15%. Мы планируем поэтапно модернизировать сеть в Москве, оптимизируя радиопокрытие.
В Санкт-Петербурге мы получили целевую оптимальную расстановку БС, позволившую нам фактически получить заданные целевые показатели скорости и качества сигнала в каналах связи сразу после запуска сети.
МЕНЬШЕ — ЛУЧШЕ
Планируя сеть в Петербурге, мы старались уменьшить количество активного оборудования, а также использовать только то оборудование, которое поддерживает удаленный мониторинг. Это помогло нам снизить эксплуатационные издержки.
Мы отказались от использования в тоннелях и на узлах коммутации медиаконвертеров, которые преобразуют оптический сигнал в электрический и обратно. Вместо них перешли на полностью оптическое соединение, для чего потребовались базовые станции нового типа и более современные коммутаторы. Благодаря более тщательному проектированию, мы снизили количество активного оборудования за счет того, что теперь приходится по одному коммутатору на 2,5–3 станции. В Москве же стоит по паре коммутаторов на каждые две станции. Все эти изменения помогали нам экономить бюджет проекта, что также было одной из важных задач.
Кроме того, была увеличена пропускная способность каналов между станционными коммутаторами и ядром. И если в Москве это два георезервированных канала по 1 Гбит/с, то в Петербурге пропускная способность каждого из них увеличена до 10 Гбит/с.
Улучшить качество сети помогли антенны, специально разработанные для нас зеленоградской компанией Delta Satellite. Благодаря им мы не только смогли существенно снизить расходы на антенные системы, но также добились улучшения характеристик радиотракта по сравнению с достигнутыми в Москве.
Также мы изменили внутрипоездную сеть: теперь все вагоны соединены между собой двумя зарезервированными каналами по 1 Гбит/с (в Москве, напомню, резервный канал имеет пропускную способность 100 Мбит/сек). В вагонах установлены более современные точки доступа Cisco AIR-CAP2702i с поддержкой стандарта 802.11ac и MIMO 3×4, способные обеспечить улучшенное качество сервиса для современных пользовательских устройств.
СМЕНА ПОКОЛЕНИЙ
Еще одно важнейшее изменение — использование нового радиооборудования связи «поезд-тоннель». За время, прошедшее с момента запуска сети в Москве, сменились поколения транспортного оборудования. Сейчас доступны устройства с гораздо лучшими характеристиками, чем четыре года назад. В проекте Петербургского метрополитена мы использовали оборудование компании Fluidmesh, разработанное в Италии. Как и в проекте в Москве, оборудование построено на базе Wi-Fi-чипов. Но если в Москве использованы чипсеты стандарта 802.11n, то в Петербурге — чипсеты нового стандарта 802.11ac, который поддерживает более широкие частотные полосы (а значит и скорости передачи данных). Кроме того, модифицированные антенные системы в Петербурге обеспечивают поддержку режима MIMO 2×2 лучше, чем антенные системы московской сети. За счет этого, а также за счет оптимального радиопланирования, максимальная пропускная способность канала «поезд-тоннель» выросла с 120 Мбит/с в Москве до 500 Мбит/с в Петербурге.
Если немного углубиться в технику, то нужно отметить, что связное оборудование, которое мы используем в Москве, значительно модифицирует стандартный уровень контроля доступа к среде (MAC-уровень), преобразуя TDD полудуплексный протокол Wi-Fi в синхронный TDM-протокол. Это ведет, среди прочего, к статическому разделению емкости между восходящим и нисходящим каналами связи на участке «состав-тоннель», и к необходимости организации временной синхронизации всех базовых станций сети с помощью отдельных аппаратных источников синхросигнала. Оборудование Fluidmesh также модифицирует протокол Wi-Fi для улучшения его характеристик при нашей модели использования. Не забываем, что стандартный Wi-Fi — это, в первую очередь, протокол для доступа множества абонентов к разделяемой сети, а не протокол для организации связи между небольшим количеством абонентов в движении (мобильный PmP транспорт). Но в технологии Fluidmesh сохраняется принцип динамического распределения емкости между нисходящим и восходящим каналами и не требуется временная синхронизация, что упрощает структуру сети и повышает эффективность использования емкости канала.
Еще одно важнейшее преимущество выбранного оборудования — это сетевая архитектура. Fluidmesh позволяет строить пакетную сеть по принципу mesh, организуя транспортный протокол с помощью MPLS-подобной маркировки пакетов. Такой подход упрощает настройку и управление, позволяет полностью избежать ряда специфичных для стандартного Ethernet проблем, которые проявляются в сетях с движущимися клиентами с роумингом (хендоверами), например, проблемы обновления таблиц MAC-адресов (MAC learning). За счет, в том числе, новой архитектуры, в Петербурге латентность (задержка) в сети в несколько раз меньше, чем в Москве, а уровень потерь пакетов при переходе состава между базовыми станциями очень низок (практически равен нулю).
ВИРТУАЛИЗИРУЙ ЭТО
Новым для петербургской сети стала виртуализация части сетевых сервисов (ИТ-уровень полностью виртуализирован и в Москве с самого начала). Вместо выделенного контроллера точек доступа в головном вагоне мы использовали промышленные компьютеры и виртуальный контроллер. С точки зрения управления сетью Wi-Fi в подвижном составе ничего не изменилось, но появились другие возможности:
- пользовательский и рекламный контент в Петербурге можно хранить (кэшировать) в самом поезде на серверах в головных вагонах, это позволило ускорить доступ к часто требуемым единицам контента для абонентов и разгрузить канал связи «состав- тоннель»;
- теперь в каждом составе, в каждом головном вагоне установлено тестовое устройство (тот же пром-ПК :). С помощью него мы сможем автоматически измерять параметры канала, передавать в центр управления сетью гораздо больше объективной и точной информации о работе сети состава. Это позволяет значительно улучшить процедуры эксплуатации и повысить реальный пользовательский опыт;
- и, наконец, при аварийной ситуации на сети мы можем активировать более детальные, нагрузочные и прочие тесты, чтобы оперативнее локализовать и ликвидировать аварию.
Промышленный компьютер был взят с большим запасом вычислительной мощности и с возможностью апгрейда, что позволяет нам в дальнейшем наращивать количество сервисов и повышать качество услуг.
БЫСТРЕЕ, ГЛУБЖЕ, МОЩНЕЕ (сеть, конечно же, сеть)
Мы взрослеем и учимся на своих ошибках, а также совершенствуем и расширяем свои компетенции. Наши решения становятся продуманнее и технологичнее, и мы уже можем с уверенностью сказать, что в рамках построения беспроводных сетей в сложных условиях для нас не найдется неосуществимых задач. Но связь, как таковая, уже давно не является сервисом самим по себе, а лишь выступает в роли транспорта для все более сложных как клиентских, так и технологических сервисов и разных других больших и не очень данных. Мы активно работаем в этом направлении. У нас уже есть ряд интересных решений, которые мы создали и которыми активно пользуемся, и в следующих постах мы о них расскажем.
