Интеллектуальные СКС в ЦОД
В современных быстро развивающихся центрах обработки данных расширение оптоволоконной инфраструктуры жизненно важно для обеспечения пропускной способности и скорости, необходимых для передачи больших объемов данных из нескольких источников и из них. Поскольку коммутаторы с портами 40G и 100G становятся обычным явлением, инфраструктура центров обработки данных становится более сложной.
Производительность была обусловлена требованиями поддержки виртуализации, конвергенции и облачных вычислений, а также приложений с высокой пропускной способностью, таких как потоковое видео. Но хотя поддержка большей пропускной способности важна, существуют дополнительные тенденции, влияющие на управление оптоволоконной инфраструктурой центров обработки данных.
1. Более высокая плотность портов.
2. Повышенная сложность топологии кабельной системы.
3. Более сложная сетевая архитектура.
Становится всё более очевидным, что традиционных ручных методов управления оптоволоконными соединениями может быть недостаточно.
Тут на помощь приходит автоматизированное управление инфраструктурой (AIM) — это интегрированная аппаратная и программная платформа, которая управляет всем физическим уровнем. Она полностью документирует кабельную инфраструктуру, включая подключенное оборудование, чтобы обеспечить полное представление о том, где расположены устройства, и как они подключены.
Собирая информацию о каждом физическом соединении в сети и передавая ее в системы управления сетью более высокого уровня, система AIM обеспечивает точное представление физического сетевого соединения в режиме реального времени и может выдавать сигналы тревоги при возникновении незапланированных или несанкционированных изменений.
AIM оптимизирует обеспечение и мониторинг подключения центров обработки данных; формирует актуальные отчеты о состоянии и мощности сетевой инфраструктуры; и, в конечном итоге, может сократить время простоя центра обработки данных и среднее время ремонта за счет точного уведомления в режиме реального времени о перебоях в подключении.
В рамках наших проектов у нас есть опыт внедрения систем автоматизированного управления инфраструктурой (AIM) imVision от компании CommScope.
Что происходит в вашем ЦОД
Эксплуатация СКС наиболее требовательна в ЦОД, чем в офисных зданиях. Вопрос в принципе задается один и тот же: «Насколько хорошо вы знаете, что происходит в вашем центре обработки данных?». Правда его актуализация будет выглядеть несколько иначе. В отличие от поиска устройств, что является одной из наиболее интересных особенностей AIM систем, применительно к офисным установкам, то в ЦОД большее внимание обращают на три вещи.
Первая
Качество эксплуатации СКС в принципе. Насколько хорошо можно планировать данные работы, насколько хорошо контролируется выполнение коммутации, можно ли отслеживать кто их выполняет, когда их выполняет и зачем он это делает. Поэтому гораздо важнее становится вопрос исполнительной документации.
Ведение исполнительной документации для офисной СКС критично в нескольких случаях: вирусные атаки, атаки злоумышленников. Но это всё внутренние дела компании. Ведение исполнительной документации (ИД) в данном случае — это вопрос эффективности службы эксплуатации, а не с функционированием организации вообще.
Ведение ИД для ЦОД существенно влияет на бизнес-процесс. И это относится к ЦОД любого размера. Тут уже вопрос о том, как эксплуатируется СКС, ЛВС, система хранения данных становится критичным для функционирования бизнеса организации. Цена ошибки при эксплуатации СКС в ЦОДе существенно выше, чем при эксплуатации офисной СКС.
Вторая
Современные оптические решения для ЦОД. И это претерминированная оптика. Она на текущий момент является «де факто» стандартом. В большинстве случаев современные заказчики, которые строят центры обработки данных, с точки зрения оптической инфраструктуры, как правило используют претерминированную оптику. Это хорошо и здорово со всех сторон, в том числе и с точки зрения службы эксплуатации.
Третья
Управление ресурсами является еще одной стороной применения AIM в ЦОД. Одной из глобальных систем для выполнения этой задачи является DCIM. Но почему-то на всю ее актуальность, она, мягко говоря, не получила широкого распространения.
Что может сделать imVision по части управления ресурсами центра обработки данных? Это не DCIM, но часть функционала в нем заложенная, позволяет планировать и управлять ресурсами.
Что вообще даёт AIM?
Он даёт возможность узнать:
Что подключено к ЛВС/СХД
Как оно подключено
Где находится
Когда произошли изменения
Это задачи системы автоматизированного управления выполнены на основании стандарта ISO|IEC 18598 AIM. Плюс к этому программно-аппаратный комплекс imVision может:
· заниматься автоматическим определением подключения/отключения шнуров, то есть даёт возможность контроля кроссового поля и ведения кабельного журнала;
· одновременно с этим выполнять документирование кабельной инфраструктуры СКС, что позволяет искать устройства и определять физическое расположение устройств, подключенных к сети;
· мониторить физические кабельные соединения в реальном времени.
С точки зрения ЦОД AIM система — это прежде всего исполнительная документация. Она по сути живой организм, который создается при инсталяции площадки, и после этого постоянно обновляется, изменяется и дополняется в зависимости от происходящего на площадке.
ИД может существовать в разных видах, причем, в разных видах одновременно в пределах одной организации. Это может быть большой архив со огромными стеллажами с папками документов. В любом случае в каждый момент времени она даёт представление о том, что происходит или происходило на ЦОД.
Физическая эксплуатация СКС
Качество эксплуатации СКС в дата-центрах — это один из наиболее важных моментов, который может являться определяющим фактором для выбора — использовать AIM платформу в ЦОДе или не использовать.
В случае с офисными зданиями служба эксплуатации работает «по живому». В текущем времени выполняются возникающие задачи. Специалист идёт в кросс и на месте решает необходимость выполнения тех или иных действий для решения ситуации. Ошибки в данном случае не являются критически серьёзными.
Что касается дата-центра. Любая ошибка сотрудника может привести к остановке бизнес-процесса всей компании. Хорошо, если это компания типа Сбербанка и всё можно списать на внешних подрядчиков. В большинстве у чуть меньшего размера заказчиков, специалистам эксплуатации проблемы в ЦОД трудно объяснить своим собственным руководителям: что такое произошло, и почему те сервисы, которые компания должна предоставлять внешним заказчикам, либо те, которые нужны для функционирования самой компании, не работают. И почему требуется огромное количество времени, чтобы вышедшие из строя сервисы восстановить.
Поэтому цена ошибки, как для службы эксплуатации, так и для компании в целом может быть очень высокой. В этой связи появляется ряд задач, которые необходимо решать.
1. Планирование изменений. Для начала было бы неплохо понимать, что нужно сделать непосредственно в зале, до того момента, как туда прийти. Поэтому нужна модель, на основании которой будет производиться работа и вноситься изменения.
2. Чтобы люди, которые будут вносить изменения, сделали это максимально быстро и с минимальным количеством ошибок. Именно, этим занимается AIM. Это то из-чего это и создавалось.
Модель
У нас есть электронная ИД, есть некая база данных, которую можно спланировать, изменения, которые нужно внести в существующую инфраструктуру СКС. Это могут быть новые коммутации или прокладка новых транковых кабелей.
С точки зрения коммутации можно сформулировать задания, которые отправляются на кроссовое поле в стойку, где люди могут их увидеть. Могут увидеть всю информацию, которая необходима для выполнения подобного задания. Где люди могут выполнить те действия, которые от них требуются, при этом контролируемо, как с точки зрения удаленных администраторов, так и с точки зрения предоставления информации об ошибках для тех людей, которые эти действия выполняют.
Но это касается достаточно небольших инсталляций, порядка 20 К портов в ЦОДе.
В данном случае одной из причин разработки AIM системы было документирование, упорядочивание процесса выполнения изменений в СКС, с внедрением электронных рабочих заданий, протоколированием и со всем остальным.
Это, что касается качества.
Планирование
Изменения изначально планируются, а только потом внедряются. Остаются следы: кто их запланировал, когда их запланировал и почему их запланировал, кто их выполнил и почему он это сделал именно так. В данном случае можно начать быстро реагировать на любые незапланированные действия.
Как, например, здесь боролись с незапланированными действиями на кроссе
В относительно небольшой финансовой организации (3000 серверных шкафов, 90000 портов) несколько групп сотрудников из эксплуатации выполняли коммутации в одних и тех же шкафах в разное время. Кабельный журнал не велся. Соответственно, это приводило к ошибкам. AIM у них на тот момент был. Как его использовали?
Использовали imVision в интеграции с IP-камерами. Это позволило определять моменты незапланированных действий на кроссе и фотографировать сотрудника эти действия совершившего.
По сути, мы можем начинать реагировать на любые незапланированные действия в момент их появления.
У нас появляется возможность зафиксировать момент события, то есть увидеть кто находился в определенный момент времени в этом помещении и провести с этим человеком определенную воспитательную работу на предмет того, что можно, а что нельзя делать в процессе эксплуатации СКС. Это очень удобно в случае массовых нарушений и позволяет значительно сократить время расследования.
Но для этого, для начала, нужно перевести большую часть действий на кроссе в плановый режим и тогда появится возможность эффективно реагировать на ту часть, которая происходит непланово.
Быстрое определение портовой емкости
Есть определенная портовая емкость на уровне передачи данных, коммутаторов и на уровне систем хранения данных. Эта портовая емкость, особенно, применительно к системе хранения данных, стоит денег. И на самом деле портовая емкость в системе СХД стоит гораздо больше денег, чем портовая емкость в сети передачи данных. Поэтому эту емкость нужно использовать достаточно эффективно.
Если не сравнивать СКС и систему хранения данных, то понять какие порты задействованы, потому что они задействованы, а другие порты задействованы, потому что их никто не отключил, очень интересная задача, тем более с учетом того, что это нужно делать регулярно.
Когда используется imVision, то можно построить отчеты, отвечающие на нужные вопросы:
порты задействованы, но неактивны;
если неактивны, то сколько времени они неактивны;
какое оборудование было подключено к этому порту последним.
На основании этой информации будет значительно проще решить нужность данного кабельного тракта и задействованность данного порта до сих пор. А может, в действительности, этого сервера давно не существует, тракт нужно расформировать, а порт можно использовать повторно.
Наша статистика говорит о том, что заказчики, впервые использующие подобный функционал на достаточно нагруженной площадке, большой СКС и сильно нагруженной СХД, могут неожиданно выяснить, что, примерно, 30% портовой емкости они не используют. Применительно к СХД, это иногда может окупить установленную AIM систему.
Информация по неактивности порта собирается по SNMP, если добавляется сетевое оборудование, как ЛВС, так и СХД, Менеджер сети может опрашивать базу данных по оборудованию, запрашивать данные о конфигурации, текущем статусе порта, какое устройство к нему подключено (с каким МАС-адресом). Вся эта информация хранится, в том числе накапливается для исторического анализа.
Претерминированная оптика в ЦОДе
Почему претерминированная оптика в ЦОДе — это стандарт? Почему это хорошо?
Вопрос зонирования. Заказчики в абсолютном большинстве не умеет зонировать, совсем. Поэтому могут возникать ситуации, когда жизненно необходимо быстро, без физических переделок перестроить всю структуру ЦОД.
Использование претерменированной оптики позволяет это сделать без больших затрат. И использование такой оптики, это просто спасение службы эксплуатации. Они получают большую гибкость кабельной системы относительно того, что есть в традиционных оптических решениях.
Существует 4 способа обеспечения полярности в параллельных оптических соединениях. Все четыре на уровне компонентов зачастую не совместимы между собой. И в тех компаниях, которые стали строить свои СКС 10 лет назад, существует «зоопарк» с обеспечением полярности.
На самом деле существует очень много вариантов соединений параллельной оптики и, соответственно, вариантов кабельных трактов. В приведенном примере лишь их малая часть.
И это создало новую проблему в документировании.
Обычно соединения коммутировались точка-точка. Один порт соединяется с другим.
Когда речь заходит о параллельной оптике, то разговор идет о соединениях точка-многоточка. Один порт соединяется с 4, 6, 12 и т.д.
Для любителей экселевских табличек подобное документирование в рамках кабельного журнала — это очень увлекательное мероприятие. И нужен некий эффективный и менее утомительный способ, позволяющий документировать параллельные соединения.
С 2017 года подобный функционал развивается в imVision:
· Во-первых, с точки зрения документирования.
· Во-вторых, с точки зрения предотвращения ошибок.
Использование параллельной оптики в системе создает большие сложности для эксплуатирующего персонала. Применяемые привычные инструменты не всегда могут корректно документировать изменения соединений. Если портов десяток, то это не страшно, а если тысяч 18, то желательно для этого иметь некий инструмент минимизации ошибок при планировании и выполнении работ. И таким инструментом является в imVision.
Эксплуатация ЦОД. Нужна ли DCIM
DCIM платформа нужна заказчикам, которые хотят очень эффективно использовать свою площадку. Это некое комплексное документирование ЦОД (создание его виртуальной модели). Полное, начиная от СКС и заканчивая энергетикой.
Начиная от построения модели документирования и заканчивая анализом эффективности, нужен мониторинг, нужна комплексная модель ЦОДа.
Как только начинается оптимизация площадки, то возникает очень много связных вопросов, и в этом случае нужен DCIM. Количество заказчиков, которые этим занимаются не очень много, потому что для эксплуатации DCIM системы нужны ресурсы и прежде всего ресурсы людей. А это экономически оправдано только для больших компаний типа Гугла или Яндекса.
Даже тем заказчикам, которым она не нужна в целом, нужна ее часть — управление емкостью. По причине того, что у заказчиков понимание того, где у него на ЦОД физически есть место, где есть мощность и где связные с точки зрения СКС сети, отсутствует практически полностью.
А в imVision это решение реализовано, что позволяет намного упростить процессы планирования емкости, формирования новых мощностей, он даёт ясность по загрузке портов и серверов.
Поиск места для сервера в ЦОД
Система отфильтрует шкафы по критериям места, свободной нагрузки по питанию и может быть физического давления на пол. После этого система проверяет можно ли в эту стойку подключить СКС. То есть для каждого шаблона создаются сервисы и создаются типы портов, которые необходимы. И если это возможно, то система может автоматически формировать рабочие задания.
Они отправляются людям из эксплуатации, которые устанавливают и подключают оборудование. Система может контролировать дополнительно появление данного устройства в сети просто, чтобы понять появилась активность на тех портах оборудования, которое было подключено или нет.
По сути заказчик сократил время в поиске места для размещения оборудования с нескольких часов до нескольких минут.
Автоматическое формирование кабельного тракта
Как это происходит
Например, на какие-то серверы нужно подключить определенные типы сервисов, они должны быть подключены к соответствующим сетям и после этого система ищет откуда эти ресурсы можно взять. Не всем это удобно и не все хотят это делать, поэтому одновременно с этим появилась возможность, для конкретно этой единицы оборудования, подключить конкретный порт, конкретного коммутатора. Система будет пытаться создать кабельный тракт с заданными параметрами и ограничениями и, если это возможно, то сформирует кабельный тракт. Показывает его администратору и, если его всё устраивает, то создаёт рабочее задание и отправляет его на выполнение.
Это позволяет в достаточно сложных кабельных системах построить тракты, особенно оптические, особенно сложно-оптические, существенно быстрее и с гораздо меньшим количеством ошибок.
DCIM довольно громоздкая, дорогая и ресурсоемкая система. Ее инсталляция в ЦОД чаще всего будет экономически нецелесообразной с точки зрения покупки и дальнейшего обслуживания. AIM системы (на примере imVision) доступны более широкому кругу заказчиков и позволяют существенно более эффективно эксплуатировать свои дата-центры.
