На проприетарном гипервизоре, но с открытыми протоколами. Обзор решения Software-Defined-кампусной сети от Huawei
Как и все крупные сетевые вендоры, Huawei развивает свои решения программно определяемых сетей. В портфолио вендора есть решения для сетей ЦОД, для распределённых сетей (SD-WAN) и для сетей офисов/кампусов. Мы с коллегой провели пару дней в лаборатории за тестированием последнего. Расскажу в этом материале, как выглядит управление программно определяемой кампусной сетью по версии Huawei.
Продукты
Для управления кампусными сетями в арсенале Huawei есть два продукта:
iMaster NCE-Campus — средство управления конфигурациями сетевых устройств и их текущего мониторинга на предмет конкретных событий и возникающих неисправностей.
iMaster NCE-CampusInsight — система аналитики состояния сети, которая собирает данные и с сетевых устройств и с NCE-Campus, анализирует их и предоставляет администратору данные о текущих и возможных в будущем проблемах, о трендах загрузки и качества работы сети, а при информировании о неисправностях указывает на их возможные причины.
Из этих двух компонентов первый является обязательным для управления сетью. На нем сейчас остановлюсь подробнее. А в конце расскажу, зачем нужен CampusInsight.
Как это работает
При управлении сетью с помощью iMaster NCE-Campus, сама сеть может функционировать в нескольких режимах и управляться разными протоколами. Варианты такие:
Вариант 1: Обычный режим, управление с помощью SNMP. iMaster NCE-Campus работает как классическое средство управления и мониторинга с самым базовым функционалом. Этот режим аналогичен управлению сетью с помощью более раннего продукта компании Huawei — eSight.
Вариант 2: Обычный режим, управление с помощью NETCONF. Здесь iMaster NCE-Campus получает возможность настраивать практически любой функционал доступный на коммутаторах, точках доступа Wi-Fi и контроллерах беспроводной сети. Но сама сеть при этом работает в обычном режиме: между коммутаторами обычные Trunk-порты, VLAN, L3-интерфейсы и т.д.
Вариант 3: Режим сетевой фабрики, управление с помощью NETCONF. В этом варианте сеть из коммутаторов работает как единое целое, благодаря чему появляется возможность реализации дополнительного функционала. Например, можно растягивать L2-домены между коммутаторами доступа, определять пользователей и оконечные устройства в группы безопасности вне зависимости от того, куда эти пользователи или оконечные устройства подключаются и применять на них списки доступа на любом коммутаторе доступа.
Добавление сетевых устройств
Как обычно это бывает в Software-Defined-решениях, для того, чтобы добавить сетевое устройство в систему, необходимо дать ему возможность достучаться до контроллера. В iMaster NCE коммутаторы и точки проще всего добавить, сообщив им адрес контроллера и базовые сетевые настройки по DHCP. Всё это рекомендуется делать через выделенные Management-порты, чтобы дальнейшая настройка сети, выполняемая уже с контроллера, не могла повлиять на доступность устройств.
Все устройства необходимо предварительно добавить в iMaster NCE Campus по серийным номерам. В этом есть некоторое неудобство: чтобы развернуть разом сеть из, скажем, 50 коммутаторов и 150 точек доступа, необходимо все их руками внести в контроллер. Максимум, как можно облегчить этот процесс — внести серийные номера в специальный файл и подгрузить этот файл в контроллер.
Более простым вариантом было бы дать возможность устройствам самим «постучаться» на контроллер, появиться в веб-интерфейсе, а администратору — возможность заапрувить те устройства, которые имеют право работать в сети.
После того, как устройство завелось в контроллере, оно закрывает для внешних подключений свой интерфейс SSH. Но если очень захочется, можно зайти в командную строку устройства через сам контроллер. Можно даже что-то там поменять в конфиге, но система выкинет предупреждение, что не надо этого делать и делать этого действительно не стоит. Все изменения теперь необходимо вносить с контроллера.
Как работает фабрика
При управлении сетью с помощью iMaster NCE Campus в режиме сетевой фабрики, эта фабрика строится с помощью стандартных технологий VXLAN, OSPF, BGP и EVPN, т.е. без каких-либо проприетарных дополнений.
Для чего используется каждая из технологий?
- VXLAN позволяет продевать на любые коммутаторы любой L2-сегмент сети;
- BGP позволяет передать маршруты обо всех подсетях между всеми коммутаторами доступа или агрегации. Коммутаторы ядра сети работают в качестве BGP Route Reflector;
- OSPF обеспечивает работу BGP, помогая BGP-нейборам находить друг друга;
- EVPN даёт возможность устройствам сетевой фабрики узнавать, устройства с какими IP-адресами подключены к тому или иному коммутатору доступа или агрегации.
Для настройки фабрики администратору необходимо задать её базовые параметры (диапазоны служебных и пользовательских VLAN, служебных L3-интерфейсов и т.д.):
Добавить в неё устройства:
А дальше можно создавать виртуальные сети (Virtual Network) — это сегменты Overlay-сети, которые нам требуется изолировать друг от друга. На уровне конфигурации коммутаторов каждому такому сегменту соответствует VPN-Instance (виртуальная таблица маршрутизации), VLAN и идентификатор VXLAN. Чтобы передавать трафик между Virtual Network, необходимо настраивать импорт-экспорт маршрутов между ними.
Устройства в фабрике могут иметь одну из следующих ролей:
Border — устройства, предназначенные для подключения к внешним сетям, как правило маршрутизаторы;
Edge — коммутаторы доступа или агрегации на которых терминируются VXLAN-туннели;
Access — устройства для подключения пользователей, но без поддержки VXLAN, например, коммутаторы доступа дешёвых моделей или точки доступа Wi-Fi;
Transport — коммутаторы агрегации без поддержки VXLAN, для передачи трафика между Border и Edge-устройствами.
При настройке фабрики мы обнаружили интересную особенность — два порта Edge-коммутатора доступа, расположенные в одном VN автоматически настраиваются как Isolated VLAN, т.е. между ними невозможна коммутация прямо на этом коммутаторе. Обмен трафиком между такими портами происходит через коммутаторы ядра сети.
Плюсом кампусной фабрики Huawei является возможность использовать в ней устройства сторонних производителей. Такие устройства не будут управляться с iMaster NCE Campus и не будут частью самой фабрики, но позволят подключать к ней клиентское оборудование. Это очень важно при постепенной миграции сети с традиционной на кампусную фабрику от Huawei, когда вы не готовы одномоментно заменить всё оборудование на Huawei. Можно сохранить существующие коммутаторы доступа, агрегации, маршрутизаторы или межсетевые экраны, обеспечив при этом применение функций безопасности и управления трафиком, предоставляемых фабрикой и iMaster NCE Campus.
Правила доступа к сети энфорсятся на первом устройстве Huawei, поддерживающим VTEP (оконечный интерфейс VXLAN). Аутентификация и авторизация пользователей, подключённых к коммутаторам доступа сторонних производителей, происходит по пользовательским сессиям, т.е. фабрика способна видеть несколько пользователей за одним своим портом.
Сторонние точки доступа Wi-Fi должны работать в режиме локальной коммутации трафика.
Функционал безопасности
Сеть под управлением iMaster NCE Campus умеет аутентифицировать, авторизовать и профилировать подключаемые оконечные устройства.
По итогам авторизации и профилирования, устройства определяются в группы безопасности (Security Group), а к этим группам применяются политики, разрешающие или запрещающие то или иное взаимодействие между группами. При работе сети в режиме фабрики, в заголовок VXLAN добавляется тег, обозначающий группу безопасности, к которой принадлежит источник трафика. Благодаря этому, промежуточные сетевые устройства могут пропускать/запрещать такой трафик, а пользовательское устройство получает одни и те же права, вне зависимости от того, в какой из коммутаторов доступа оно подключилось в текущий момент. Благодаря тому, что теги находятся в заголовках VXLAN, они будут передаваться корректно, даже если на пути следования трафика окажется устройство, не поддерживающее работу с контроллером.
Если же сеть работает не в режиме фабрики, то коммутаторы получают все настройки и правила доступа напрямую с контроллера. Т.е. контроллер просто преобразует настроенные на нём правила в списки контроля доступа (ACL) и загружает эти ACL в конфиги коммутаторов.
Аутентификация клиентских устройств, подключаемых к сетевой фабрике, пока возможна только с помощью встроенного в контроллер RADIUS-сервера, который в свою очередь можно интегрировать с корпоративным каталогом.
Зачем нужен CampusInsight
Всё, что описано выше, касалось iMaster NCE-Campus. А что же делает CampusInsight?
iMaster NCE CampusInsight собирает с сети телеметрию и выдаёт администратору данные о том, какие пользователи и устройства какими сетевыми приложениями пользуются и о том, насколько качественно всё это работает. Вот пример дашборда с информацией по приложениям:
iMaster NCE CampusInsight может сильно помочь в мониторинге Wi-Fi сети. В Wi-Fi проблемы обычно носят статистический характер и воспроизвести их, чтобы установить причину невозможно. CampusInsight помогает тем, что показывает общее состояние Wi-Fi-сети с точки зрения статистики её загрузки, количества ошибок подключения, проблем с роумингом, интерференциями. Упрощённое представление таких данных в виде очков или процентов может выглядеть как маркетинговый ход, но на самом деле оно помогает быстро увидеть ухудшение ситуации и попытаться исправить её до того, как пользователи начнут жаловаться массово.
В представленные на основном Wi-Fi-дашборде показатели можно углубиться и посмотреть, например, с чем были связаны ошибки подключения пользователей к сети:
Посмотреть историю событий:
Качество работы сети для конкретного Wi-Fi-клиента:
Для проводной сети основной дашборд выглядит вот так:
И показывает он в основном уровень загрузки оборудования и его интерфейсов, а также возникающие ошибки, по которым также можно получить более детальную информацию.
В целом, iMaster CampusInsight стоит рассматривать, как средство проактивного мониторинга сети и анализа её поведения в прошлом. Он отвечает на вопросы вроде «Работает ли сеть хуже или лучше, чем месяц назад?» или «А нет ли в сети каких-то небольших проблем, которые могут стать большими, если ничего не делать?» С текущим мониторингом — сбором логов и Alarm-сообщений, справляется и сам контроллер iMaster NCE Campus. Он даёт ответ на вопрос «А что работает/не работает в сети сейчас?»
Обслуживание оборудования
Как и на всякой уважающей себя системе управления и мониторинга, на iMaster NCE Campus есть возможность управлять используемыми версиями прошивок сетевых устройств. Обновления можно планировать по времени и накатывать на группу устройств. Файлы прошивок можно брать из внутреннего репозитория или с внешнего сервера.
При выполнении работ по обслуживанию устройства есть возможность ставить его в Maintenance-режим, так, чтобы при его перезагрузке или падении его портов Alarm-сообщения не появлялись на дашбордах и не смущали инженеров NOC.
Есть в контроллере и простой доступ к файловой системе сетевых устройств:
Не хватило, на наш взгляд, только опции, позволяющей прервать обновление группы устройств в случае, если на одном из устройств оно произошло с ошибкой. Если мы запланировали на вечер апгрейд десяти коммутаторов, а на втором произошла ошибка, не хочется проверять, произойдёт ли она на оставшихся восьми. Лучше остановить процесс и исследовать причины.
Платформы для компонентов управления
Самым правильным вариантом будет разворачивать iMaster NCE Campus и iMaster NCE CampusInsight на платформах Huawei — серверах x86 или TaiShan, гипервизоре Huawei FusionCompute и операционной системе EulerOS (Linux-система, основанная на CentOS).
Кроме этого, существует возможность развёртывания этих компонентов на SUSE Linux, что даёт возможность использовать другой гипервизор и серверные платформы.
Управляющие компоненты достаточно «тяжёлые» и развёртывание их даже при успешном стечении обстоятельств занимает примерно пару дней. При этом очень важно пользоваться документацией именно от тех версий продукта, которые разворачиваешь, так как решение быстро обновляется, а вместе с обновлениями часто меняются и некоторые нюансы его первичной настройки. Для упрощения процесса развёртывания вендор предлагает утилиту под названием EasySuite. Она поднимает на локальном компьютере веб-интерфейс, в который потом можно загрузить инсталляционные файлы, вбить параметры инсталляции, после чего большую часть дальнейших действий по установке софта выполнит Python-скрипт.
Лицензирование
Для того, чтобы использовать коммутаторы и точки доступа под управлением iMaster NCE Campus и iMaster NCE CampusInsight, необходимо купить целый набор лицензий, а именно:
1. Лицензию на само устройство, одного из двух уровней
- Foundation — для базового управления
- Advantage — для работы в режиме фабрики
2. Лицензию на iMaster NCE Campus, чтобы контроллер мог управлять устройством
3. Лицензию на iMaster NCE CampusInsight (если он используется)
Для тех, кто желает потестировать решение, вендор охотно предоставляет временные лицензии.
Резюме
Большим плюсом решения является его гибкость: iMaster NCE Campus можно использовать в разных режимах, настолько Software-Defined, насколько вы на это готовы. В него можно разными способами и с разной функциональностью интегрировать и продвинутые модели сетевых устройств Huawei и базовые и сопрягать сеть, управляемую iMaster NCE Campus с устройствами других вендоров. В ситуации, когда преимущества программно определяемой парадигмы кампусных сетей не всем очевидны, а быстрый переход к ней затруднителен с финансовой точки зрения и с точки зрения квалификации администраторов, всё вышеперечисленное позволяет делать его более плавным, оценивая преимущества на каждом шаге.
Ну, а минусы я уже описал. Связаны они в основном с тем, что Huawei, как и другие вендоры программно определяемых решений, стремится выпустить на рынок продукт как можно скорее, и желание это понятно. Купив управляющие компоненты такой сети от того или иного вендора, заказчики будут в дальнейшем покупать всё сетевое оборудование от этого же вендора.
