Кибер Инфраструктура 5.5. Обзор новинок
Привет Хабр!
Сегодня познакомимся с ключевыми новинками в версии 5.5 нашего продукта «Кибер Инфраструктура». Кибер Инфраструктура — это универсальное решение, которое представляет собой мультипротокольное программно-определяемое хранилище и платформу виртуализации в одном продукте.
Начнем с небольшого обзора основных сценариев использования продукта, а также обсудим, как все устроено на уровне инфраструктуры.
Сценарии использования продукта
Мы выделяем четыре основных сценария использования «Кибер Инфраструктуры»: виртуализация, организация виртуальных рабочих мест, хранение данных и хранение резервных копий.
Виртуализация
В состав Кибер Инфраструктуры входит платформа виртуализации на базе QEMU/KVM с контролем всего жизненного цикла виртуальных машин. Поддерживаются гостевые ОС Windows, а также российские и зарубежные дистрибутивы Linux. Устойчивость к катастрофам обеспечивается за счет использования кластера, растянутого между двумя ЦОД.
Виртуальные рабочие места
При помощи Кибер Инфраструктуры можно создавать виртуальные рабочие места и управлять ими: поддерживается развертывание из образов, предоставление доступа через тонкий клиент или браузер и сохранение состояния виртуального рабочего места. VDI использует платформу виртуализации и программно-определяемое хранилище.
Хранение данных
Продукт позволяет создавать различные виды хранилищ с доступом по протоколам NFS, iSCSI и S3. В рамках одного кластера возможно масштабирование до десятков петабайтов. Линейное масштабирование по производительности достигается путем добавления новых узлов.
Хранение резервных копий
Программно-определяемое хранилище Кибер Инфраструктуры может использоваться в качестве специализированного хранилища резервных копий для продуктов Кибер Бэкап и Кибер Бэкап Облачный.
Гиперконвергентная инфраструктура
Кибер Инфраструктура — это гиперконвергентное решение, которое предоставляет вычислительные и сетевые ресурсы, а также ресурсы хранилища. В основе гиперконвергентной инфраструктуры лежит очень простая идея — берутся серверы (они могут быть от разных производителей, разной конфигурации), они объединяются сетевым интерфейсами, и на серверы, как на голое железо, устанавливается программное обеспечение, которое объединяет их в кластер — надежный, производительный и отказоустойчивый. Все ресурсы, которые есть у этих серверов — вычислительные мощности, память и хранилища, объединяются в единый пул. Ресурсы из этого пула не закреплены за определенными устройствами, являются общими для всего кластера и предоставляются по требованию для решения тех или иных задач. При таком подходе ресурсы используются гораздо эффективнее, а сама система обладает большей надежностью и производительностью.
Кибер Инфраструктура основана на ОС семейства Linux и может быть установлена как на голое железо, так и внутри виртуальных машин (с некоторыми ограничениями). Единый кластер объединенных серверов легко масштабируется путем добавления узлов или отдельных дисков. Управление всем кластером осуществляется из единой веб-консоли или через интерфейс командной строки.
Наш продукт имеет многолетнюю историю, его основная функциональность проверена не только сотнями заказчиков, но и нами самими — на базе Кибер Инфраструктуры работает наш сервис резервного копирования Кибер Бэкап Облачный, защищающий данные множества компаний различного размера.
Что нового в версии 5.5
В новой версии Кибер Инфраструктуры представлен ряд новых передовых технологий, таких как DRS (балансировка вычислительных ресурсов виртуальных машин), Auto Tiering (балансировка уровней хранилища для дисков виртуальных машин и томов iSCSI), быстрая сеть DPDK для виртуальных машин, поддержка RDMA для основного распределенного хранилища на сетевых картах Intel и Broadcom, поддержка NVMe Namespaces, поддержка BucketPolicy в объектном хранилище, а также существенно расширенную поддержку сетевого оборудования и контроллеров дисковых массивов.
Новинки в области виртуализации
Балансировка вычислительных ресурсов виртуальных машин
Существенным улучшением в версии 5.5 стало появление возможности балансировки нагрузки (Distributed Resource Scheduler, DRS) по CPU и RAM, которая позволяет автоматически и без остановки перемещать виртуальные машины между серверами виртуализации для повышения производительности ВМ. Балансировка вычислительных ресурсов виртуальных машин происходит на основе статистического анализа и автоматических миграций ВМ с чрезмерно нагруженных серверов виртуализации на менее загруженные узлы кластера.
Доступны расширенные настройки параметров балансировки и мониторинг миграций, несбалансированности и ресурсообеспеченности ВМ. Таким образом, администраторам больше не нужно балансировать нагрузку между узлами вручную — нагрузка балансируется в режиме online, администратор может исключить отдельные виртуальные машины из процесса, ограничивать частоту и график миграции.
Виртуализация рабочих столов (VDI)
В версии 5.5 добавлена возможность развертывания виртуальных рабочих столов в среде виртуализации на основе Кибер Инфраструктуры. Теперь пользователи системы могут развертывать инфраструктуру виртуальных рабочих столов для российских операционных систем Astra Linux 1.7.x, РЕД ОС 7.3, Альт Сервер и Альт рабочая станция 10. Поддерживается подключение клиентов по протоколу RDP и через веб-браузер.
Повышение производительности сети (DPDK)
В новой версии продукта реализована поддержка Data Plane Development Kit (DPDK) для создания виртуальных машин с быстрой сетью. Ускорение сетевых операций между ВМ достигается за счет «быстрого пути» коммутации через пространство пользователя путем взаимодействия сетевого оборудования напрямую с приложениями, минуя тем самым сетевой стек ядра операционной системы. В этой версии Кибер Инфраструктуры функция DPDK доступна только для сетевых адаптеров Intel.
Новинки в области хранения
Автоматическая балансировка уровней хранилищ
В Кибер Инфраструктуру 5.5 включен инструмент для автоматизации перемещения данных между уровнями хранилища и обеспечения оптимальной производительности, уровня надежности. Теперь в окружениях с несколькими уровнями хранения можно настроить автоматическое перемещение данных между уровнями, чтобы обеспечить оптимальную производительность и надёжность. Доступны расширенные настройки параметров балансировки и мониторинг нагрузки на уровни, заполненности уровней и перемещений томов. Доступны режимы увеличения производительности, уменьшения времени отклика, оптимизации занимаемого пространства и поддержания требуемой избыточности данных.
В результате, в продукте реализованы следующие типы балансировки: уменьшение времени отклика, балансировка по IOPS, оптимизация использования пространства, обеспечение минимальной избыточности — это позволяет устранить дисбаланс по производительности / объему между уровнями хранения.
Пространства имен NVMe
Диски NVMe поддерживают функцию NVMe Namespaces (пространства имен), которая позволяет разделить один физический SSD диск большого объема на несколько логических дисков меньшего размера. С помощью этой функции можно значительно увеличить производительность кластера хранилища данных, разделив диски NVMe на пространства имен и использовав получившиеся логические диски для хранения фрагментов данных. Прирост производительности обуславливается тем, что один и тот же физический диск используется несколькими службами фрагментов данных, хотя при этом кратно возрастает потребление ОЗУ, ядер ЦП и дискового пространства за счет большего количества служб фрагментов данных в расчете на один физический диск.
В результате, можно использовать до 8 сервисов фрагментов на один физический NVMe диск. Как показывают наши тесты, общий прирост производительности уровней на NVMe дисках может достигать 15%.
RoCE для карт Intel и Broadcom
В версии 5.5 поддерживается удаленный прямой доступ к памяти (RDMA) по протоколам Converged Ethernet (RoCE), InfiniBand (IB) и Internet Wide Area RDMA Protocol (iWARP) для внутренней сети хранения данных. Технология RDMA позволяет серверам в этой сети обмениваться данными в основной памяти без задействования процессоров, кэша или операционных систем, высвобождая тем самым ресурсы и улучшая пропускную способность и производительность. По умолчанию RDMA отключен. Включить RDMA можно в панели администратора или в интерфейсе командной строки. В новой версии продукта расширен перечень оборудования, поддерживающего производительные сети с низкой задержкой с использованием RoCE — добавлены адаптеры Intel и Broadcom. Включение режима RDMA может обеспечить рост производительности хранилища при использовании протокола RoCE до 100% (в зависимости от конфигурации)
В нашей базе знаний в статье «Сравнение производительности хранилища с RDMA и без» приведены результаты тестирования производительности репликации и избыточного кодирования при включенном режиме RDMA и без него.
И еще …
Для распределенного хранилища также реализованы:
новые схемы избыточного кодирования »3+3»,»5+4»,»7+5»,»9+6»,»11+7» для организации эффективных кластеров из трех ЦОД (или трех стоек) с уменьшенной областью отказа и »1+3»,»2+4»,»3+5»,»4+6»,»5+7» для кластеров из двух ЦОД (или двух стоек). Подробнее см. в статье в базе знаний;
дополнительные регулярные схемы избыточного кодирования:»9+2»,»11+3»,»13+3»,»15+3». Подробнее см. здесь;
новые схемы репликации:»3 реплики, макс. доступность»,»3 реплики, макс. надежность» и »4 реплики». Подробнее см. в статье в базе знаний;
регулярный TRIM для SSD-дисков хранилища для поддержания высокой производительности при длительной эксплуатации;
возможность настройки минимального времени реагирования на отказ оборудования. Подробнее см. в статье в базе знаний;
поддержка настройки производительности встроенной ОС и специализированный профиль производительности.
S3: кэширование метаданных на SSD
В версии 5.5 поддерживается возможность построения экономически эффективных хранилищ S3 с быстрым выполнений операций над метаданными — сами объектные хранилище создаются на HDD дисках, а метаданные размещаются на flash уровне. Переместить метаданные на flash можно как для существующих инсталляций, так и для новых — объем метаданных оценочно составляет 1–2% от объема хранилища.
Более подробно об этом см. в статье в базе знаний: «Увеличение производительности объектного хранилища за счет вынесения метаданных на уровень SSD-дисков»
S3: Политики управления доступом к корзинам
В Кибер Инфраструктуру 5.5 включен функционал политики управления доступом, обеспечивающий гранулярную раздачу прав пользователям при доступе к корзинам (bucket) и объектам внутри них. Поддерживаются все стандартные методы S3, реализованные в Кибер Инфраструктуре, а в качестве дополнительных условий (conditions) доступна проверка на вхождение IP адреса.
Новинки в области хранения резервных копий
Хранение резервных копий, созданных с помощью Кибер Бэкапа и Кибер Бэкапа Облачного является одним из основных сценариев использования нашего продукта. В версии 5.5 мы доработали компонент «Шлюз резервных копий», в результате чего:
увеличена скорость резервного копирования во внешнее облако S3;
увеличен до 1 ГБ локальный кэш на дисках;
возможность подключения локальных хранилищ S3 с методом адресации path-style;
в магазине приложений Yandex Cloud Apps доступно приложение «Шлюз резервных копий СРК Кибер Бэкап» для быстрого развертывания отказоустойчивой точки хранения резервных копий. Также приложение подходит для легкого развертывания демо-стендов Кибер Инфраструктуры.
Более подробно об использовании шлюза резервного копирования с Yandex Cloud мы рассказывали здесь.
Обновление до версии 5.5
Продукт Кибер Инфраструктура версии 5.0 можно обновить до версии 5.5 в разделе Настройки > Обновить. Для завершения обновления требуется перезагрузка. Обновленные узлы будут перезагружаться автоматически, один за другим. Во время перезагрузки служба хранения данных и панель администрирования могут оказаться недоступными на конфигурациях кластера, где не предусмотрено избыточности служб или данных. Отметим, что лицензии от 5.0.1 работают в версии 5.5, правила лицензирования не изменились.
Узнать больше
Недавно мы провели онлайн-мероприятие, посвященное выпуску Кибер Инфраструктуры 5.5. На нем подробно рассказали и показали основные новинки данного релиза. Запись доступна здесь.
