Технология Virtual Link Trunking (VLT) для сетевых фабрик Dell
Сегодня мы хотим рассказать вам о технологии Dell Virtual Link Trunking (VLT), которая позволяет объединить два коммутатора в отказоустойчивую конфигурацию для подключения к другим коммутаторам или серверам при помощи Link Aggregation Group (LAG) и протокола 802.3ad LACP.Обычно LAG от серверов и коммутаторов уровня доступа можно подключить только к одному коммутатору уровня агрегации. Для обеспечения отказоустойчивости можно использовать объединение в стек нескольких коммутаторов агрегации, представляющих собой единое логическое устройство. Но такое решение имеет свои недостатки, поскольку стек имеет единый control plane — он становится слабым звеном системы. При обновлении операционной системы требуется перезагрузка всех коммутаторов в стеке, из-за которой возникают перерывы в обслуживании. А теперь сравним эту схему с той, что использует технологию VLT: такая конфигурация имеет уже два control plane, поэтому сеть продолжает работать даже при обновлении операционной системы на одном из коммутаторов. При этом все физические линки между коммутаторами, собранными в VLT, и подключенными к ним устройствами тоже дублируются.Такого рода технологии есть у всех крупных производителей сетевого оборудования, каждый из которых имеет свою проприетарную реализацию. Например, Cisco поддерживает Virtual Port Channel (vPC), Brocade использует Multi-Chassis Trunking (MCT), а Juniper — технологию Virtual Chassis. Применяются технологии и с открытыми стандартами, которые обеспечивают похожую функциональность: Transparent Interconnection of Lots of Links (TRILL) и Shortest Path Bridging (SPB).
Основные преимущества VLT
в домене Layer 2 не образуются петли;
доступность и отказоустойчивость;
быстрая сходимость при отказах в сети;
все физические каналы в сети активны и используются эффективнее;
активное распределение нагрузки на шлюз по умолчанию с использованием протокола VRRP или функционала Peer-routing;
быстрая сходимость при перезагрузке одного из коммутаторов;
миграция виртуальных машин в пределах Layer 2 домена.
Описание технологии VLTVLT — это конфигурация из двух коммутаторов, которые на Layer 2 воспринимаются другими сетевыми устройствами как единое целое. Физически это два устройства, соединённые между собой по специальной схеме, но для серверов, коммутаторов и других сетевых устройств они выглядят единым коммутатором. Тем не менее, каждый из них имеет свой control plane, настраивается независимо от другого и управляется своей операционной системой. Несмотря на то что одно сетевое устройство подключается к двум коммутаторам с помощью LAG, VLT не дает образовываться петлям — тем самым, с которыми борется протокол Spanning Tree (STP). Такое подключение обеспечивает отказоустойчивость и равномерное распределение нагрузки между коммутаторами. К ним могут подключаться коммутаторы или стеки коммутаторов, серверы или другие устройства, которые поддерживают объединение нескольких портов в LAG по протоколу LACP.Давайте на примере небольшой схемы разберемся в терминологии VLT, которая понадобится нам в дальнейшем.
Virtual link trunk (VLT) — виртуальный сетевой канал между подключаемыми устройствами и двумя VLT-коммутаторами. VLT backup link — резервное соединение, проверяющее работоспособность VLT-коммутаторов. Через него передаются периодические пакеты keep alive между VLT-коммутаторами. VLT interconnect (VLTi) — соединение для передачи служебной информации между коммутаторами VLT. Эти порты должны иметь скорость 10 Гбит/с или 40 Гбит/с. VLT domain — домен из двух VLT-коммутаторов, VLTi портов и всех VLT подключений соединенных с ними устройств. Этот домен используется для единой конфигурации глобальных параметров VLT. VLT peer — один из двух VLT-коммутаторов, соединённых между собой через VLT interconnect (VLTi). Non-VLT порт — любой порт на VLT-коммутаторе, к которому подключено устройство, не соединенное с другим VLT-коммутатором. Периодические служебные сообщения hello передаются через соединение VLT backup, а контрольные сообщения VLT — через интерфейсы VLTi. Это необходимо для синхронизации L2/L3 control plane между двумя VLT-коммутаторами. MAC, ARP и IGMP таблицы синхронизируются между ними для обеспечения совместной коммутации и защиты от сбоев, если откажет один из коммутаторов или физических каналов подключения. Технология VLT также обеспечивает пересылку трафика по кратчайшему пути, минуя VLTi канал, но который может использоваться в случае отказа.Backup канал для обмена пакетов heartbeat обычно обеспечивается через управляющие порты коммутаторов, подключенные к выделенной сети управления. Также резервный канал может соединять любые порты коммутаторов VLT, но для пакетов heartbeat рекомендуется использовать именно управляющий порт: он может работать, когда VLTi канал отказал.В VLT один из коммутаторов выбирается главным, и он берёт на себя контроль над протоколами LACP и STP и рассылает служебные пакеты второму VLT пиру.
Все VLAN, сконфигурированные для подключений VLT, автоматически добавляются тэгированными для канала VLTi.Каждое устройство подключенное к домену VLT получает широковещательные пакеты через коммутаторы VLT только один раз. Широковещательные пакеты блокируются при отсылке в порт подключенного устройства, если они получены VLT пиром через VLTi линк. Но это происходит лишь в том случае, когда порты для подключенного устройства активны на обоих пирах. Если порт на одном из пиров не работает, то информация о его статусе немедленно передается второму пиру. Тот в свою очередь сразу убирает блокировку, и устройство продолжает получать пакеты.
Таблица коммутаторов Dell с поддержкой VLT
Шлюз по умолчанию при VLTДля защиты шлюза по умолчанию можно настроить протокол VRRP внутри домена VLT. В этом случае оба коммутатора будут маршрутизировать трафик, отправленный на шлюз по умолчанию, включая коммутатор, который не является VRRP мастером в данный момент.
Альтернативой протоколу VRRP является функционал Peer-routing в домене VLT. Рассмотрим, как он работает.
Пакеты от сервера, предназначенные шлюзу по умолчанию IP 10.10.10.2 (как показано на схеме слева), из-за алгоритма хэширования для LAG могут быть переданы на коммутатор Peer 1. Без функционала Peer-routing коммутатор должен будет переслать эти пакеты на коммутатор Peer 2.
Функционал Peer-routing позволяет коммутатору самостоятельно пересылать пакеты, предназначенные шлюзу по умолчанию, находящемуся на соседнем пире VLT (как показано на схеме справа). Благодаря этому достигается оптимальная маршрутизация, пакеты доставляются быстрее, VLTi линк не загружается, а также не требуется настраивать протокол VRRP. Функционал Peer-routing позволяет защитить шлюз по умолчанию для большего числа VLAN интерфейсов по сравнению с VRRP, который имеет ограничение в 255 VLAN.
Маршрутизация с VLTВ сетях ЦОД важно обеспечить «растянутый» Layer 2 домен для кластерных приложений и свободной миграции виртуальных машин. Технология VLT предоставляет таким «растянутым» VLAN возможности по маршрутизации. Достигается это с помощью функционала Peer-routing, который помимо шлюза по умолчанию поддерживает протоколы маршрутизации OSPF, IS-IS и BGP. Один из этих протоколов можно настроить внутри «растянутого» VLAN на коммутаторах VLT. И тогда соседи с помощью протокола маршрутизации смогут обмениваться своими маршрутами. В таком случае поддерживается только широковещательный режим для протоколов маршрутизации OSPF или IS-IS, а не point-to-point.
В дата-центрах с высокой плотностью виртуальных машин для данного VLAN, «растянутого» по нескольким стойкам, можно настроить несколько шлюзов по умолчанию и распределить их по коммутаторам в VLT-доменах. Это позволит в свою очередь распределить ARP таблицы по VLT доменам для большего масштабирования.
В VLT поддерживаются протоколы маршрутизации IPv4 и IPv6, но функционал Peer-routing для защиты шлюза по умолчанию работает только для протокола IPv4. Для защиты IPv6 default-gateway рекомендуется настроить протокол VRRP.
На схеме показан пример использования OSPF в сети с несколькими доменами VLT:
OSPF сконфигурирован на интерфейсах VLAN 10 в широковещательном режиме. Для оптимального распространения маршрутов коммутатор VLT уровня ядра, выполняющий роль главного (IP 10.10.10.1), рекомендуется назначить в качестве DR для OSPF, а его соседнего VLT пира (IP 10.10.10.2) — BDR. На главном VLT пире для VLAN 10 нужно задать наивысший приоритет OSPF, чтобы этот коммутатор был выбран DR. На соседнем VLT пире задается меньший приоритет для выбора его в качестве BDR. После обмена маршрутами все коммутаторы VLT имеют информацию, через какие next-hop адреса доступны маршруты. При этом сохраняется возможность «растянуть» VLAN-ы по всем коммутаторам сети, как показано на примере VLAN 20, используемом для виртуальных машин.
Proxy Gateway для соседнего VLT-доменаМежду двумя VLT доменами можно настроить функционал Proxy Gateway. Он позволяет локально маршрутизировать трафик, предназначенный для шлюза по умолчанию из соседнего VLT домена. Этот функционал хорошо подходит для случая, когда два VLT домена находятся в разных территориально удаленных ЦОД. Proxy Gateway позволяет оптимизировать прохождение пакетов между ЦОД, снизить загрузку каналов между ЦОД и обеспечить защиту в случае отказа одного из VLT пиров, выполняющих роль шлюза по умолчанию.
Пример применения этой возможности показан на схеме. Удалённые VLT домены соединены между собой четырьмя физическими линками с помощью темного волокна или DWDM. Виртуальная машина, с настроенным шлюзом по умолчанию C, мигрирует в территориально удалённый ЦОД без остановки своей работы. Переехав в ЦОД 2, виртуальная машина продолжит работу без перенастройки. Пакеты, отправляемые виртуальной машиной на шлюз C, будут локально маршрутизироваться коммутаторами C1 и D1. Если на коммутаторах C и D используются статические маршруты, то необходимо их настроить на коммутаторах C1 и D1 для симметричной маршрутизации.
Пример настройки VLTПеред началом конфигурирования убедитесь, что на обоих коммутаторах в VLT домене используется одинаковая версия Dell Networking OS и настроен протокол RSTP. Он обеспечит защиту от петель, если будут допущены ошибки в конфигурации.
В следующем примере VLT пир 1 использует hostname S4810–1, VLT пир 2 — hostname S4810–2 и Top-of-Rack коммутатор — hostname S60–1.
Настраиваем VLTi между VLT пирами. Рекомендуется использовать для этого статический LAG:
s4810–1(conf)#interface port-channel 100 s4810–1(conf-if-po-1)#channel-member TenGigabitEthernet 0/4–5 s4810–2(conf)#interface port-channel 100 s4810–2(conf-if-po-1)#channel-member TenGigabitEthernet 0/4–5 Задаём одинаковый номер VLT домена на VLT пирах: s4810–1(conf)#vlt domain 1 Добавляем VLTi линк внутри конфигурации VLT домена: s4810–1(conf-vlt-domain)#peer-link port-channel 100 Настраиваем резервное соединение между VLT пирами. На VLT пире 1 используем для резервной связи IP адрес, заданный на интерфейсе управления VLT пира 2: s4810–2#show interfaces managementethernet 0/0 Internet address is 10.11.206.58/24 s4810–1(conf-vlt-domain)#back-up destination 10.11.206.58 Назначаем VLT пиру 1 роль главного с помощью более низкого приоритета чем у соседа: s4810–1(conf-vlt-domain)#primary-priority 100 Задаём MAC адрес по умолчанию для взаимодействия в VLT домене: s4810–1(conf-vlt-domain)#system-mac mac-address 00:11:22:33:44:55 Назначаем каждому пиру уникальный unit ID (0 и 1): s4810–1(conf-vlt-domain)#unit-id 0 Когда вы создаёте VLT домен на коммутаторах, Dell Networking OS может сама назначить MAC адрес для взаимодействия и задать коммутаторам уникальные unit ID. Использование команд system-mac mac-address и unit-id минимизирует время синхронизации пиров после перезагрузки одного из коммутаторов.Настраиваем домен VLT на пире 2:
s4810–2(conf)#vlt domain 1
s4810–2(conf-vlt-domain)#peer-link port-channel 100
s4810–2(conf-vlt-domain)#back-up destination 10.11.206.43
s4810–2(conf-vlt-domain)#system-mac mac-address 00:11:22:33:44:55
s4810–2(conf-vlt-domain)#unit-id 1
Настраиваем VLT соединение пиров 1 и 2 с коммутатором Top-of-Rack. Для этого настраиваем LACP LAG на портах пиров 1 и 2, соединённых с коммутатором Top-of-Rack. Настраиваем одинаковый идентификатор VLT для этого LACP LAG на VLT пирах 1 и 2:
s4810–1(conf)#interface TenGigabitEthernet 0/40
s4810–1(conf-if-te-0/40)#port-channel-protocol lacp
s4810–1(conf-if-te-0/40-lacp)#port-channel 1 mode active
s4810–1(conf)#interface port-channel 1
s4810–1(conf-if-po-1)#switchport
s4810–1(conf-if-po-1)#vlt-peer-lag port-channel 1
s4810–2(conf)#interface TenGigabitEthernet 0/40
s4810–2(conf-if-te-0/40)#port-channel-protocol lacp
s4810–2(conf-if-te-0/40-lacp)#port-channel 1 mode active
s4810–2(conf)#interface port-channel 1
s4810–2(conf-if-po-1)#switchport
s4810–2(conf-if-po-1)#vlt-peer-lag port-channel 1
На коммутаторе Top-of-Rack конфигурируем LACP LAG для физических портов, подключенных к пирам 1 и 2:
S60–1(conf)#interface range TenGigabitEthernet 0/48, TenGigabitEthernet 0/50
S60–1(conf-if-range-te-0/48, te-0/50)#port-channel-protocol lacp
S60–1(conf-if-range-te-0/48, te-0/50-lacp)#port-channel 1 mode active
Проверяем, работает ли VLT, VLTi соединение, резервный канал и состояние соседнего VLT пира:
s4810–1#show vlt brief
VLT Domain Brief
------------------
Domain ID: 1
Role: Primary
Role Priority: 100
ICL Link Status: Up
HeartBeat Status: Up
VLT Peer Status: Up
Local Unit Id: 0
Version: 6(1)
Local System MAC address: 00:01: e8:8b:2d:41
Remote System MAC address: 00:01: e8:8b:28: a9
Configured System MAC address: 00:11:22:33:44:55
Remote system version: 6(1)
Delay-Restore timer: 90 seconds
Проверяем, активен ли VLT LAG на обоих VLT пирах:
s4810–1#show vlt detail
Local LAG Id Peer LAG Id Local Status Peer Status Active VLANs
------------ ----------- ------------ ----------- -------------
1 1 UP UP 1
s4810–1#sho interfaces port-channel 1 brief
Codes: L — LACP Port-channel
LAG Mode Status Uptime Ports
L 1 L2L3 up 00:34:00 Te 0/40 (Up)
Пример дизайнаРассмотрим пример дизайна сетевой инфраструктуры ЦОД с использованием технологии VLT. Два VLT домена соединены одним LAG, состоящим из четырех портов 40GE. VLT позволяет распределять трафик по всем каналам между уровнем блейд-коммутаторов и коммутаторов ядра сети.
Такая сетевая инфраструктура обеспечивает еще и конвергенцию сетей LAN и SAN за счет поддержки технологии iSCSI DCB на всех компонентах решения: СХД Dell EqualLogic, коммутаторах Dell и конвергентных адаптерах для блейд-серверов Dell.
Вы можете подробнее ознакомиться с этим примером дизайна и его конфигурацией, описанным в документе Datacenter Reference Architecture — Deploying Active fabric for Datacenter.
