Своя точка обмена трафиком в дата-центре. Часть 1. Как это устроено08.12.2016 13:48

В 90-е, когда российский интернет только зарождался, провайдерам из одного города приходилось обмениваться трафиком через Европу и платить за него транзитным и вышестоящим операторам (аплинкам). Конечный пользователь в итоге получал высокие цены на доступ в Интернет, ограничения по объему доступного трафика, большим временем отклика веб-ресурсов. Чтобы не гонять национальный трафик по заграничным городам и весям, местные провайдеры стали объединяться и создавать точки обмена трафиком в крупных городах.

Сегодня речь пойдет о них: расскажем, зачем нам понадобилась собственная точка обмена трафиком DataLine-IX, как она устроена, и поделимся первыми результатами.

af41eaf40de646d78c7f7fe47a2385ad.jpg
Провайдеры ISP-A и ISP-B обмениваются трафиком своих сетей через точку обмена трафиком. Без нее обмен происходил бы через «большой» Интернет.

Точка обмена Интернет-трафиком (Internet Exchange Point, IX) — это инфраструктура, позволяющая автономным системам обмениваться трафиком (пиринг) напрямую, в обход вышестоящих операторов связи (аплинков). Пиринг помогает участникам IX сократить маршруты передачи пакетов между сетями и снизить затраты на трафик. Если нужно соединиться сразу c нескольким участниками, то через точку обмена трафиком это сделать проще: вместо отдельного коннекта к каждому участнику — один к IX, где эти участники присутствуют. Это организационная сторона. Финансово участник IX тоже выигрывает за счет экономии на каналах и закупке трафика у аплинков.

Для конечного пользователя плюсы тоже есть: уменьшаются сетевые задержки, сокращается время отклика ресурсов в Интернете.

Точки обмена трафиком — вещь позитивная. Чем их больше, тем лучше связность Интернета и тем он доступнее для конечного пользователя.

Первые точки обмена трафиком начали появляться с 1994 г. в крупных европейских городах: Лондоне (LINX), Франкфурте (DE-CIX), Амстердаме (AMS-IX), Москве (MSK-IX). Сейчас во всем мире работает около 580 IX.

fa3edf96d432449ab02371e7ed6140dc.PNG
Крупнейшие точки обмена трафиком в России. Источник: internetexchangemap.com

Когда в 2015 году мы задумались над собственной точкой обмена трафиком, в наших дата-центрах уже присутствовало более 40 операторов (сейчас их 53). Работала Meet-Me-Room, упрощающая подключение к любому оператору на наших площадках. Своя точка обменом трафиком дала бы еще больше возможностей для наших клиентов, особенно для интернет-провайдеров и контент-генераторов (игровые сервисы, CDN, видео-хостинги, медиа, соцсети):

  • улучшение связности сетевой инфраструктуры DataLine: при подключении к нашей сети клиентский трафик идет более короткими маршрутами с минимальным количеством транзитных участков;
  • уменьшение расходов участника IX на покупку IP-транзита у аплинков: часть трафика будет проходить через DataLine-IX;
  • построение более надежной сетевой инфраструктуры: с помощью DataLine-IX участник сможет организовать резервные маршруты и разгрузить каналы до других точек обмена трафиком;
  • доступ к трафику участников, не присутствующих на других точках обмена трафиком;
  • быстрое подключение к нескольким операторам связи через выделенный VLAN.

Как это работает


Инфраструктура точки обмена трафиком DataLine-IX распределена по двум площадкам — OST и NORD.

На двух площадках работают 6 коммутаторов BlackDiamond X8. Два из них связывают дата-центры в единую сеть и формируют ядро сетевой инфраструктуры DataLine-IX (Core). К ядру подключаются по два узла доступа (Access) с каждой площадки. Новые участники присоединяются к точке обмена трафиком через эти узлы доступа.

Между узлами ядра организовано 8 линков по 10G, которые объединены в логический канал с суммарной пропускной способностью 80 Gbps. Пропускная способность каналов, соединяющих ядро и узлы доступа, — 40 G.

4ed14acf67c44688a76da0307f31d455.png
Топология точки обмена трафиком DataLine-IX.

9cdc0783b9214b70b2ba06ca0f2ff8e3.jpg
Один из BlackDiamond X8 на площадке OST.

На одном шасси коммутатора BlackDiamond X8 может работать 768 портов 10 GbE (7.68 Tbps) или 192 порта 40 GbE (7.68 Tbps). По умолчанию для подключения новых участников мы используем 10 GbE порты, но по запросу можем предоставить 40 и 100 GbE порты. Вот все доступные стандарты подключения:

  • 1/10GbE SFP/SFP+ (SR/LR/ER/ZR);
  • 100/1000/10000 MbE (10GBaseT) RJ45;
  • 40GbE QSFP+ with SR4/LR4;
  • 100GbE CFP2 with SR10/LR4.

Участники DataLine-IX обмениваются друг с другом маршрутами через сервер маршрутизации (Route Server, RS) по протоколу BGPv4. RS также обеспечивают фильтрацию маршрутов участников в соответствии c политиками Internet Routing Registry (IRR) и другими атрибутами протокола BGPv4 (AS_PATH, Next-hop и пр.).

Серверы маршрутизации развернуты на двух серверах Huawei RH1288 V2–8S с UNIX-based средой.

dc5a07009c804452bd3a25fabd5860ee.JPG
Cервер маршрутизации.

Инфраструктура точки обмена трафиком объединяет участников в единый широковещательный домен (L2-домен), поэтому велик риск широковещательных штормов из-за мусорного BUM-трафика (broadcast, unknown destination address, multicast). Как минимум, шторм может привести к снижению пропускной способности каналов участников. В худшем сценарии будет потеряна связь с сервером маршрутизации, оборвутся BGP-сессии и вся инфраструктура IX накроется. Чтобы DataLine-IX не заштормило, мы используем многоуровневую защиту от BUM-трафика, ограничивая трафик следующим образом:

  1. Запрет на прием на портах участников всех multicast фреймов, кроме протоколов и конкретных типов сообщений, обеспечивающих корректную работу сетевых сервисов (LACP, ICMPv6 NS, ICMPv6 NA).
  2. Ограничение на передачу широковещательных фреймов (broadcast storm-control/broadcast rate-limit). В DataLine-IX они используются протоколом ARP для определения MAC-адреса по известному IP-адресу.
  3. Фильтрация поля ether-type. Обычно разрешается передача фреймов, несущих в себе IPv4, IPv6 и ARP.
  4. Обеспечение достоверности информации в ARP-сообщениях (ARP inspection). Участник отвечает только на ARP-запросы, касающиеся его IP-адреса на конкретном интерфейсе. Для ARP-пакетов также применяется инструмент rate-limit, ограничивающий количество ARP-пакетов в секунду.

На третьем и четвертом уровнях OSI фильтруются протоколы динамической маршрутизации, кроме BGP, и иные протоколы, несущие угрозу участникам и самой инфраструктуре IX. При передаче маршрутной информации по BGP анализируются как сами префиксы, так и набор атрибутов для данного префикса (элементы AS_PATH, Next-hop, и т.д).

Для новых участников IX действуют стандартные правила по настройке:

  1. На порту участника в сторону DataLine-IX должны быть отключены STP, IP redirects, LLDP, CDP, ARP proxy и другие link-local протоколы, за исключением ARP и IPv6 ND.
  2. Разрешен анонс Ethernet-фреймов: 0×0800 — IPv4, 0×0806 — ARP, 0×86dd — IPv6.
  3. На один порт — один MAC-адрес участника.
  4. Запрещен анонс сети IX в другие AS, не являющиеся участниками IX.
  5. Запрещено анонсирование default-маршрутов и full view.

Сама процедура подключения выстроена так, чтобы у нас была возможность перепроверить правильность этих настроек. Сначала новый участник подключается в порт, находящийся в карантинном VLAN. Мы анализируем его трафик, и если все настроено правильно, то порт переводится в продуктивный VLAN. Там новый участник все еще изолирован от остальных: его префиксы не анонсируются остальным участникам IX, и сам участник тоже ничего не получает. Если все в норме, то сессии переводятся в продуктивный режим работы.

Способы подключения к DataLine-IX


Новые участники могут выбрать следующие варианты подключения к DataLine-IX:
  • Общий пиринг (Shared Peering) — обмен трафиком со всеми участниками IX через серверы маршрутизации.

    87c176437cf84e73bf50f9e89e813297.png
    Схема общего пиринга.

  • Прямой пиринг (Private Peering) — обмен трафиком с отдельными участниками IX. В этом случае обмен трафиком организуется не через сервер маршрутизации (RS), а посредством установления прямых BGP-сессий между участниками. Такой способ подключения к точке обмена трафиком пригодится, когда нужно улучшить связность с одним или несколькими конкретными участниками IX.

    e17c7ed0704e4a6e9c01b4db977b68cf.png
    Схема прямого пиринга.

  • Доступ к выделенному VLAN (Private VLAN) — организация каналов связи через выделенный VLAN с одним или несколькими участниками. Такой способ может понадобиться для объединения в одном широковещательном домене (VLAN) нескольких портов одного участника или для объединения в одном VLAN нескольких участников.

    e147677f3cad4027bc99b1ae42f0f058.png
    Схема подключения через выделенный VLAN.

  • Канал точка-точка (p2p) организуется через коммутационную фабрику IX с помощью технологии EoMPLS. Благодаря связности через выделенный VLAN не нужно прокладывать дополнительных кроссировок для организации канала p2p, достаточно просто иметь подключение к DataLine-IX.

    28ea653ab1d0455299369f4b709baa02.PNG
    Схема подключения p2p.


Что дальше?


DataLine-IX пока еще на самом раннем этапе развития. На текущий момент у нас 38 участников, суммарное число маршрутов — 6889. Помимо наращивания числа участников, в ближайших планах — организация узлов доступа на внешних площадках.

fed129a441f746d2af6cb142c042c4f5.png
Статистика DataLine-IX на ru.map-ix.net

72da1ba82b0743dfa24e136d5012fa73.png
Статистика участников DataLine-IX по по роду деятельности.

Задавайте вопросы в комментариях, если что-то интересное осталось за кадром. Во второй части расскажем про полезные инструменты DataLine-IX для управлениями исходящими и входящими анонсами, защиты от DDoS-атак.

Комментарии (2)

  • 8 декабря 2016 в 12:08

    0

    ↑

    ↓

    Не очень в тему, но всё же.
    Подскажите, если есть статистика, % трафика передаваемый по IPv6 в сравнении с четвёркой?

    • 8 декабря 2016 в 12:19

      0

      ↑

      ↓

      Пока не более 1%.

© Habrahabr.ru