[Перевод] Тайный мир сетей СВЧ-связи
Между Лондоном и Франкфуртом протянулась таинственная частная сеть связи, которая работает вдвое быстрее обычного интернета. Соединение обеспечивается цепочкой вышек с СВЧ-приёмопередатчиками. Когда-то сеть была совершенно секретной: её использовала единственная, очень богатая компания, и никто об этом не знал.
Однако пару лет спустя конкурент построил свою собственную линию СВЧ-связи между двумя городами. И тогда первая компания, чтобы не потерять преимущество в бизнесе, раскрыла информацию о своей линии. Если бы не усилия конкурента, вероятно, этот секрет до сих пор не был бы раскрыт.
Аналогичные истории происходили по всему миру. Но в связи с тем, что это частные сети и их зачастую используют финансовые группы, стараясь получить преимущество на фондовом рынке и заработать больше миллиардов, приходится прилагать усилия, чтобы найти информацию о таких сетях связи.
К примеру, в 2013 году, когда только начал лопаться пузырь высокочастотного трейдинга (high-frequency trading, HFT), исследователи из Калифорнии изучили большую выборку биржевых торгов и обнаружили, что с марта 2011-го сетевая задержка между Чикаго и Нью-Йорком резко снизилась на 2,5 мс. До этого лучший результат был 7,5 мс, так что снижение до 5 мс оказалось значительным. Далее исследователи воспользовались FCC и другими записями, на основании которых сделали вывод, что по состоянию на 2013 год (когда проводилось исследование) существовало 15 (!) сетей СВЧ-связи между упомянутыми двумя городами. Вероятно, отмеченное снижение задержки было связано с введением в строй новой сети.
Заметка из газеты 1949 года, рассказывающая о сети СВЧ-связи компании AT&T, «всего за 34 прыжка» соединяющей Нью-Йорк с Чикаго
Сами по себе СВЧ-сети известны очень давно. В 1949 году между Нью-Йорком и Чикаго (около 1140 км по прямой) компания AT&T ввела в строй линию связи из 34 отрезков ретрансляции между вышками связи, стоящими на расстоянии прямой видимости. В Великобритании с середины 1950-х по 1980-е из СВЧ-сетей была создана национальная магистральная сеть связи. Она обслуживала всё, от телевидения и телефонов до нужд военных и разведки.
Основа британской СВЧ-сети в 1956-м
Развернуть СВЧ-сеть было дешевле, чем тянуть кабели, а её пропускная способность была выше, чем у меднопроводных технологий того времени. Но недостатком микроволн (обычно это частоты от 6 до 30 ГГц) является необходимость очень точного позиционирования антенн и обеспечения прямой видимости между вышками. Более того, дождь, облачность или просто замутнённость воздуха ослабляют СВЧ-сигнал — так называемый эффект rain fade («замирание при дожде»).
Частично компенсировать затухание можно с помощью усиления мощности передачи, установив более крупные антенны с гидрофобным покрытием, а также внедрив отказоустойчивые протоколы, использующие понижение радиочастоты для улучшения стабильности связи при ненастной погоде. Также с 1980-х годов СВЧ-связь заменяется или дополняется оптоволокном в качестве дополнительного канала передачи.
На сегодняшний день оптоволокно практически вытеснило СВЧ в магистральных каналах. Тем не менее микроволновые сети широко используются до сих пор, а лежащие в их основе технологии активно развиваются. В наши дни СВЧ по большей части применяется для подключения удалённых, труднодоступных районов к интернету, а также для специальных задач вроде обслуживания частных финансовых организаций. Ещё несколько лет назад практически все вышки сотовой связи в Европе обеспечивали СВЧ-транзит, но сейчас многие участки заменены оптоволокном, чтобы уменьшить нагрузку на базовые станции LTE и LTE-Advanced.
Карта некоторых СВЧ-сетей на юге Англии и в континентальной Европе. Сети в районе Корнуолла используются для подключения к подводным магистральным кабелям, которые здесь выходят на поверхность
Учитывая, что мир уже плотно покрыт высокоскоростными оптоволоконными кабелями, возникает логичный вопрос: зачем нужны собственные СВЧ-сети?
Первая причина очевидна: в своей сети легче обеспечивать безопасность, качество обслуживания, пропускную способность и прочие вещи, важные для бизнеса.
Вторая причина, о которой уже упоминалось: как ни удивительно, СВЧ-сети имеют более низкий уровень задержки по сравнению с оптоволоконными каналами. На коротких участках оптоволокно работает быстро, но на длинных маршрутах, например между зарубежными офисами и биржей ценных бумаг, часто возникают лаги.
К сожалению, протяжённые оптоволоконные сети очень дорого прокладывать: необходимо копать траншею длиной в сотни или тысячи километров (либо оплачивать доступ к уже проложенным другими компаниями сетям). Также надо учитывать рельеф: как пересекать горы и реки — напрямую (дороже) или делать крюк и протягивать кабель через ближайший мост или тоннель? Собственно, поэтому большинство наземных оптоволоконных линий проходят поблизости от автомобильных и железных дорог.
Каждый раз, когда разработчикам сетей при планировании маршрута прокладки приходится принимать подобные важные решения, общая задержка несколько увеличивается. В сумме набирается несколько дополнительных миллисекунд. И в результате СВЧ-сети начинают выигрывать по этому параметру.
Карта наземных и подводных европейских линий, 2001 год. Более современные карты найти трудно, но большинство линий используется до сих пор, просто с обновлённым оборудованием
Карта наземных линий в Европе, 2002 год
Современная карта подводных кабелей между Великобританией и континентом
Возьмём для примера Лондон и Франкфурт. Между ними по прямой около 644 км. Свет преодолеет это расстояние (299 700 км/с) за 2,126 мс. В оптоволокне световой луч движется не по прямой линии, а по ломаной, поэтому скорость снижается до 200 000 км/с, что даёт нам теоретический минимум в 3,186 мс.
Кроме того, в реальности кабель между Лондоном и Франкфуртом не состоит из цельного куска. Например, пакет данных может несколько раз пересылаться внутри самого Лондона, прежде чем достигнуть нужного роутера и начать путешествие через Европу. На пути ему встречаются другие роутеры и репитеры. Прибыв во Франкфурт, пакет также может быть передан несколько раз от одного сетевого узла к другому, прежде чем попасть к адресату. Добавьте сюда разнообразие рельефа и инфраструктуры, прохождение по подводному кабелю (через французский Кале или бельгийский Остенде), а также вероятность того, что роутер в Лондоне решит отправить пакет через Париж. В результате получаем среднюю задержку между Лондоном и Франкфуртом на уровне 17 мс.
А теперь сравните: задержка частной СВЧ-сети между ними — около 4,2 мс. Около — потому что параметры новейших сетей держатся в секрете. Поэтому компании, для которых критично время задержки, делают выбор в пользу СВЧ, а не оптоволокна.
У СВЧ-сетей есть два ключевых преимущества:
- радиосигнал идёт по воздуху примерно в 1,5 раза быстрее света в оптоволокне,
- чаще всего между двумя пунктами можно построить сеть, близкую к прямой линии.
Последнее означает, что можно сильно уменьшить физическое расстояние прохождения пакета. Кроме того, снижается количество промежуточных роутеров при передаче пакета из пункта А в пункт Б.
Приёмопередатчик BridgeWave FP80–3000, способный передавать до 3 Гбит/с на частоте 80 ГГц. Диаметр антенны — 30 см
Если говорить об инфраструктуре, то СВЧ-сеть представляет собой цепочку вышек с двумя приёмопередатчиками, направленными в противоположные стороны. Расстояние между вышками зависит от условий на местности, но в среднем — от 40 до 65 км. Максимальное расстояние определяется высотой антенн над землёй, частотными ограничениями и рельефом. Если водрузить мачту на вершину возвышенности и поставить мощный передатчик, то можно легко преодолевать и 80 с лишним километров, упираясь только в радиогоризонт.
Стоимость приёмопередатчика — в районе 10—20 тыс. фунтов стерлингов за устройство наподобие вышеупомянутого BridgeWave плюс 100—200 тыс. фунтов за каждую вышку (сюда входит доставка материала, возведение, резервное питание и так далее). Возвращаясь к примеру с Лондоном — Франкфуртом: такая сеть состоит примерно из 20 вышек, то есть стоимость возведения — 2,5—5 млн фунтов стерлингов. Сюда не входят затраты на персонал, операционные расходы (питание, аренда земли, техподдержка) и многое другое. Компании, управляющие такими сетями, отказываются раскрывать общие затраты, но про Лондон — Франкфурт известно, что речь идёт о сумме от 10 до 20 млн евро.
Если сравнить стоимость развёртывания СВЧ-сети и сотовой, то во втором случае нужно закупить массу оборудования и объединить вышки сетью, оптоволоконной или СВЧ. По данным на 2013 год, компания AT&T продала 9700 вышек на 4,85 млрд долларов, по 500 тыс. долларов каждая.
Наконец, для полноты сравнения давайте посмотрим, сколько будет стоить использование прямой оптоволоконной сети между Лондоном и Франкфуртом. Допустим, у нас есть 644-километровый кабель, аренда которого обходится примерно в 1 фунтов стерлингов за метр в год. Стоимость прокладки своего кабеля зависит от ряда параметров, в том числе от количества узлов и экранирования, но в целом это 0,5—1 фунт за метр для обычного наземного кабеля. Кроме того, как и в случае с СВЧ-сетью, через каждые 30—50 км нам нужны усилители сигнала, которые хоть и дороги, но всё же дешевле СВЧ-приёмопередатчиков.
Укладка нового оптоволокна дешевле развёртывания собственной СВЧ-сети, но это верно только в том случае, если между двумя пунктами уже есть магистраль, к которой можно подключиться с обеих сторон. Но если нужно построить свою 640-километровую линию… удачи!
Уменьшение задержки на несколько микросекунд при подключении брокеров к биржевой системе впечатляет, но от неё не будет толку, если программное обеспечение не успевает за скоростью работы сети.
По большей части финансовые организации используют СВЧ-сети для алгоритмического высокочастотного трейдинга. Речь идёт о компьютерных алгоритмах, обрабатывающих данные о рынках ценных бумаг и быстро принимающих решения (продавать, покупать, длинные позиции, короткие), чтобы обогнать других трейдеров. В начале 2000-х первые алгоритмы соперничали с людьми, но сегодня на рынке сплошное засилье алгоритмов.
Как вы понимаете, подробности работы алгоритмов — строго охраняемый секрет. Но мы можем рассказать о любопытном случае. Утром 1 августа 2012 года компания Knight Capital, занимавшая одну из ведущих позиций в сфере HFT, выкатила новое трейдинговое ПО. Начиная примерно с 9:30 приложение вышло из-под контроля и начало хаотично покупать и продавать. За 45 минут убытки составили 7 млрд долларов. В конце концов компании удалось откатить часть сделок и снизить ущерб до 460 млн долларов, на тот момент — около половины рыночной стоимости самой Knight Capital. С тех пор этот случай называют «the Knightmare» (игра слов: nightmare — страшный сон).
На графике изображено изменчивое поведение трейдингового приложения Knight Capital. В 9:52 был провал, вероятно, кто-то вмешался в работу ПО, затем оно снова взбрыкнуло. К 10 утра его пофиксили
График показывает объём торговли приложения по сравнению с другими биржами. Вероятно, именно здесь было потеряно больше всего денег
Более подробное поведение алгоритма на протяжении 27-секундного отрезка. Синим цветом обозначены цены предложения и спроса на Нью-Йоркской фондовой бирже (NYSE)
Ещё более подробный график. Приложение продаёт по 38,60, затем покупает по 38,75, каждый раз теряя 15 центов. Бот осуществлял сделки около 40 раз в секунду, 2400 раз в минуту
А здесь показано поведение другого трейдингового ПО (Nokia). Бот снова и снова продаёт и покупает
В последние пару лет некоторые сетевые компании экспериментировали с лазерной связью в качестве замены двухточечных СВЧ-сетей.
На сегодняшний день лазерные сети работают ненамного быстрее: задержка чуть ниже, пропускная способность почти та же. А передаваемый на сверхвысоких частотах (около 200 000 ГГц) сигнал крайне чувствителен к осадкам и облачности. Отчасти это можно компенсировать адаптивной оптикой (когда приёмник пытается изменить её форму для компенсации искажения сигнала), но на случай плохой погоды всё равно не обойтись без резервного канала — СВЧ, миллиметровой связи или оптоволокна.
Оборудование для создания лазерной сети производства компании AOptix
Сейчас растёт популярность двухточечных миллиметровых сетей, использующих часть спектра над микроволновым диапазоном (~30—300 ГГц). Но во многих случаях они играют роль альтернативной связи, их пропускная способность по сравнению с СВЧ чуть выше, а устойчивость к погоде — ещё хуже. Также сейчас обсуждается использование миллиметрового диапазона для развёртывания 5G, а ряд WiGig-устройств (802.11ad) уже его используют. Но всё это сильно отличается от направленных двухточечных сетей.
Одна из СВЧ-вышек
Компании, создающие сети связи, не особо распространяются о своих текущих и будущих проектах. Однако была озвучена любопытная информация о создании трансатлантической СВЧ-сети. Теоретически можно поместить приёмопередатчики на стоящих на якорях баржах (наподобие маленьких нефтяных платформ) или на привязанных воздушных шарах. Выгода та же, что и в случае с наземными сетями: низкая задержка. Сегодня при передаче данных по оптоволокну с западного побережья Англии на восточный берег Лонг-Айленда (4960 км) задержка составляет 25 мс. По СВЧ она будет около 16 мс.
Разница в 9 мс выглядит не слишком впечатляюще, но если добавить задержки при передаче по СВЧ из Лондона в Корнуолл (такая сеть уже есть), а также из Лонг-Айленда в Нью-Йорк (тоже есть), то в сумме получим на линии Лондон — Нью-Йорк задержку около 25 мс. А это ГОРАЗДО быстрее, чем нынешние 60 мс по оптоволокну.
Но, увы, никто пока не вложился в создание 80 плавучих СВЧ-вышек, пересекающих Атлантику. Насколько известно…
