Micron опубликовал движок хранения HSE 3.0, оптимизированный для SSD-накопителей

Компания Micron Technology, специализирующаяся на производстве DRAM и флеш-памяти, опубликовала выпуск движка хранения HSE 3.0 (Heterogeneous-memory Storage Engine), разработанный с учётом специфики использования на SSD-накопителях и постоянной памяти (NVDIMM). Движок выполнен в форме библиотеки для встраивания в другие приложения и поддерживает обработку данных в формате ключ-значение. Код HSE написан на языке Си и распространяется под лицензией Apache 2.0.

HSE оптимизирован не только для достижения максимальной производительности, но и для обеспечения долговечности работы различных классов SSD-накопителей. Высокая скорость работы достигается за счёт гибридной модели хранения — наиболее актуальные данные кэшируются в ОЗУ, что снижает число обращений к накопителю. Движок может применяться для низкоуровневого хранения данных в NoSQL СУБД, программных хранилищах (SDS, Software-Defined Storage) типа Ceph и Scality RING, платформах для обработки больших объёмов данных (Big Data), системах высокопроизводительных вычислений (HPC), устройствах интернета вещей (IoT) и решениях для систем машинного обучения. В качестве примера интеграции движка в сторонние проекты подготовлен вариант документно-ориентированной СУБД MongoDB, переведённый на использование HSE.

Основные возможности HSE:

  • Поддержка типовых и расширенных операторов для обработки данных в формате ключ/значение;
  • Полная поддержка транзакций с возможностью изоляции срезов хранилища через создание снапшотов (снапшоты также могут применяться для поддержания независимых коллекций в одном хранилище);
  • Возможность использования курсоров для перебора данных в представлениях на основе снапшота;
  • Модель данных, оптимизированная для смешанных типов нагрузки;
  • Гибкие механизмы управления надёжностью хранения;
  • Настраиваемые схемы оркестровки данных (распределения по разным типам памяти, присутствующим в хранилище);
  • Библиотека с C API, которая может динамически связываться с любыми приложениями. Наличие привязок для Python и Java;
  • Поддержка хранения ключей и данных в сжатом виде.
  • Возможность масштабирования до терабайтов данных и сотен миллиардов ключей в хранилище;
  • Эффективная обработка тысяч параллельных операций;
  • Возможность использования в одном хранилище SSD-накопителей разных классов для оптимизации производительности и продления срока службы накопителя.




Значительное изменение номера версии в HSE 3.0 вызвано наличием изменений в API, CLI, параметрах конфигурации, REST-интерфейсе и формате хранения, нарушающих обратную совместимость. При подготовке нового выпуска основное внимание было уделено оптимизации хранения данных для повышения производительности при некоторых важных видах нагрузки. Среди наиболее заметных улучшений:

  • Производительность операций с курсором теперь не зависит от длины фильтра, что позволяет без снижения пропускной способности перебирать ключи, используя курсор с произвольными фильтрами.

  • Увеличена производительность чтения и записи в ситуациях использования монотонно увеличивающихся ключей, например, при хранении срезов значений параметров, записываемых через определённые промежутки времени, в системах мониторинга, финансовых платформах и системах опроса состояний датчиков.

  • В API предоставлена возможность управления сжатием на уровне отдельных значений, что позволяет держать в одном хранилище как сжатые, так и несжатые записи.

  • Добавлены новые режимы открытия KVDB, позволяющие формировать запросы к БД в хранилищах, доступных только на чтение.



Источник: http://www.opennet.ru/opennews/art.shtml? num=58165

© OpenNet