Квантовый скачок

1b2c3fa2c0a342848e1bd756177ef602.jpg

Термином «квантовый скачок», он же «квантовый переход», описывается скачкообразное изменение состояния квантовой системы. И именно этот физический термин ассоциируется со сложившейся сегодня ситуацией, при которой удешевление flash-памяти позволило создавать сверхпроизводительные СХД, не уступающие по ёмкости системам на жёстких дисках и соперничающие с ними по совокупной стоимости одного терабайта. В этом году совокупная стоимость одного терабайта впервые сделает flash-системы более выгодными.

555a3f7943944f0885b309e875d9948a.jpg
Источник: http://wikibon.org/wiki/v/Evolution_of_All-Flash_Array_Architectures

Важность этого момента трудно переоценить, его можно сравнить с быстрой сменой исторической формации. Эра владычества HDD стремительно уходит в прошлое. И одним из вестников этого процесса стала DSSD D5 — высокопроизводительное хранилище стоечного класса на flash-накопителях (RSF, Rack-Scale Flash).
RSF-система — это хранилище совместного использования, предназначенное для решения задач, которые требуют высочайшей производительности и обработки огромных объёмов данных. Решения подобного класса стали востребованы потому, что, несмотря на бурное развитие традиционных систем хранения, они не успевали угнаться за требованиями к производительности рабочих нагрузок новых типов. Миру программно-определяемых инфраструктур стало нужно максимально быстрое электронное хранение, какое только может позволить современный технологический процесс. DSSD D5, по сути, и является системой, созданной для решения этой задачи.

В максимальной конфигурации показатели DSSD D5 таковы:

  • Пропускная способность до 100 Гб/с.
  • До 10 млн. IOPS.
  • Задержка ~100 микросекунд (для приложений с интегрированным нативным API).
  • Полная ёмкость до 144 Тб, используемая — 100 Тб.


Сферы применения


В высокопроизводительных вычислительных системах узкими местами хранилищ являются количество операций/ввода вывода, пропускная способность и ёмкость. Главная задача RSF-систем заключается в нивелировании этих ограничений.

С точки зрения характера рабочих нагрузок можно выделить три направления применения D5:

  • Высокопроизводительные хранилища/базы данных. К ним относятся традиционные БД наподобие Oracle, а также БД с массово-параллельной обработкой. Подобные системы используются для обслуживания финансовых транзакций, управления рисками, предотвращения мошенничества, управления поставками и т.д.
    • Для приложений, обрабатывающих транзакции, сверхнизкая задержка означает большее количество транзакций в секунду, а следовательно — больше прибыли.
    • Высокий уровень IOPS и пропускной способности позволяет быстрее вырабатывать бизнес-решения или анализировать больше данных, а значит быть более конкурентоспособными.
    • Выполнение всей аналитики на одном D5 позволяет существенно экономить время на перемещении данных.
  • Высокопроизводительные приложения на Hadoop. В отличие от традиционной пакетной обработки Hadoop, здесь требуется высокая скорость приёма и обработки данных. В частности, для анализа потоковой информации в реальном времени в сферах биржевой торговли, рекламных систем, бизнес-отчётности и прогнозного моделирования на базе обширных наборов данных.
    • Независимое масштабирование вычислительных мощностей и хранилища в Hadoop-инфраструктуре.
  • Высокопроизводительные пользовательские приложения. Рабочие нагрузки, подразумевающие высокую производительность хранилища и обработку данных через быстрый API. В подобных случаях используются традиционные файловые системы наподобие XFS, либо параллельные кластерные файловые системы. Сферы применения: торговое моделирование, предсказание погоды, машиностроение, медицинские исследования, фармакология, анализ климата и т.д.
    • Высокая пропускная способность и большое количество IOPS позволяют делать выводы на основании обработки данных в течение минут после их получения, а не часов или дней.
    • При использовании параллельных файловых систем можно в 20 и более раз уменьшить объём инфраструктуры.
    • Аналитика в реальном времени позволяет быстрее выводить на рынок новые продукты.


С другой стороны, DSSD D5 в своем текущем релизе, не предназначен для работы с SAP HANA, поскольку это требует соответствующей технологической интеграции на уровне оперативной памяти и последующей сертификации в SAP.

Архитектура

48a8a0a75d814e74bf493309b686df1c.png

В основе DSSD D5 лежит новая архитектура, обеспечивающая на порядок более высокую производительность, минимальный уровень задержки и чрезвычайно высокую плотность размещения памяти. При этом обеспечивается уровень надёжности и доступности, характерный для корпоративных систем.

Каковы особенности архитектуры D5?

  • Впервые в индустрии применён прямой доступ к flash-памяти (DMA) с сегментированными уровнями управления и данных.
  • Гибкий доступ к данным (блок, объект, ключ-значение).
  • Встроенные коммутаторы (PCIe Mesh Fabric) обеспечивают крайне низкий уровень задержки.
  • Система может одновременно использоваться несколькими вычислительными узлами.
  • Отсутствует единая точка отказа.

e7ba00d363534befbf392654a8986979.png
Блочная диаграмма DSSD D5.

Возможность интеграции в пользовательские приложения API прямого доступа к памяти. Высокая производительность системы достигается благодаря:

  • API с асинхронной архитектурой без блокировок,
  • отсутствию программных посредников в тракте передачи данных,
  • отсутствию взаимодействия ядра с используемыми API и плагинами,
  • и интенсивному распараллеливанию процессов.

c3ce45ee19fc45ccacd80c06dd802d33.png

Изначально D5 будет доступен в четырёх конфигурациях: с 18 или 36 flash-модулями по 2 или 4 Тб (тысячи микросхем NAND-памяти). Таким образом, полный объём хранилища может быть 36, 72 или 144 Тб. Все модули объединяются в RAID-массив. Доступная для использования ёмкость будет составлять примерно 25, 50 или 100 Тб для «типичной рабочей нагрузки». Точный объём памяти будет определяться размером FLEN: чем он меньше, тем больше метаданных будет в хранилище. Согласно нашим измерениям, наивысший уровень IOPS достигается при FLEN-объектах размером 4 Кб, а наилучшая пропускная способность — при FLEN размером 32 Кб.

Все flash-модули энергонезависимы и защищены от сбоев электропитания. Каждый модуль подключён к PCIe-сети посредством двух раздельных lane-подключений PCIe Gen3×4, что позволяет достичь пропускной способности до 8 Гб/с.

caf5b005e2d343c996527ffcd2b43201.jpg
Flash-модуль DSSD D5.

Благодаря многосвязной PCIe-сети каждый клиент имеет прямой доступ к каждой из NAND-микросхем. Это позволило отказаться от избыточного копирования при записи данных в финальную часть памяти. А применение протокола NVMe обеспечивает параллельность доступа к любым частям памяти D5.

В отличие от традиционных архитектур, в которых управление системой осуществляет процессор, в DSSD D5 тракты управления и передачи данных разделены и имеют по своему управляющему модулю. Эти модули контролируют операции ввода/вывода, но сами данные идут через модули ввода/вывода напрямую между подключёнными серверами и flash-модулями.

cf6b4400025e45a7ae07748d8f160aef.png
Контроллерный модуль DSSD D5.

Подключение D5 к серверам осуществляется с помощью модулей ввода/вывода, работающих по схеме active-active. Каждый модуль позволяет подключить с резервированием до 48 узлов через lane-порты PCIe Gen3×4 (всего 96 портов). Карты для подключения узлов установлены в стандартные слоты PCIe Gen3×8 и соединены с модулями ввода/вывода посредством сдвоенных медных кабелей PCIe Gen3×4. В будущем планируется внедрить поддержку активных оптических кабелей (Active Optical Cable, AOC).

3d756be3c4c348a1bcf51f3dbc2067bf.jpg
Модуль ввода-вывода DSSD D5.

Двунаправленная пропускная способность одиночного порта достигает 3,5 Гб/с, а сдвоенных портов — 6,5 Гб/с. Так что теоретическая пропускная способность всей системы составляет 6,5×48 = 312 Гб/с. Но из-за ограничений, присущих некоторым компонентам, сейчас обеспечивается 100 Гб/с.

Для доступа к DSSD D5 на клиентских серверах должно быть установлено программное обеспечение:

  • драйвер клиентской карты,
  • драйвер блочного устройства,
  • клиентский CLI,
  • libflood-библиотека, используемая приложениями для вызова наших API,
  • документация по API и CLI.


e43a3eb8463d404585bf56602c36c41a.png
Протокол NVMe.

Наконец, одним из очень важных свойств архитектуры DSSD D5 является его «ремонтопригодность»: все основные компоненты — от карт для подключения клиентов (серверов) до flash-модулей — резервируются и могут быть заменены заказчиком самостоятельно. Это обеспечивает очень высокий уровень доступности и отсутствие единой точки отказа.

В сухом остатке


Подведём итоги всему вышесказанному. DSSD D5 — это первое решение в классе RSF (Rack-Scale Flash). Оно предназначено для решения задач, крайне требовательных к производительности СХД, уровню задержки и пропускной способности. При этом совокупная стоимость 1 Тб памяти DSSD D5 уже сопоставима с системами на базе HDD, а по ряду метрик новое решение превосходит большинство имеющихся на рынке all flash-систем с «традиционными» архитектурами.

© Habrahabr.ru