Micron опубликовал движок хранения HSE 3.0, оптимизированный для SSD-накопителей21.11.2022 23:00

Компания Micron Technology, специализирующаяся на производстве DRAM и флеш-памяти, опубликовала выпуск движка хранения HSE 3.0 (Heterogeneous-memory Storage Engine), разработанный с учётом специфики использования на SSD-накопителях и постоянной памяти (NVDIMM). Движок выполнен в форме библиотеки для встраивания в другие приложения и поддерживает обработку данных в формате ключ-значение. Код HSE написан на языке Си и распространяется под лицензией Apache 2.0.

HSE оптимизирован не только для достижения максимальной производительности, но и для обеспечения долговечности работы различных классов SSD-накопителей. Высокая скорость работы достигается за счёт гибридной модели хранения — наиболее актуальные данные кэшируются в ОЗУ, что снижает число обращений к накопителю. Движок может применяться для низкоуровневого хранения данных в NoSQL СУБД, программных хранилищах (SDS, Software-Defined Storage) типа Ceph и Scality RING, платформах для обработки больших объёмов данных (Big Data), системах высокопроизводительных вычислений (HPC), устройствах интернета вещей (IoT) и решениях для систем машинного обучения. В качестве примера интеграции движка в сторонние проекты подготовлен вариант документно-ориентированной СУБД MongoDB, переведённый на использование HSE.

Основные возможности HSE:

Поддержка типовых и расширенных операторов для обработки данных в формате ключ/значение;
Полная поддержка транзакций с возможностью изоляции срезов хранилища через создание снапшотов (снапшоты также могут применяться для поддержания независимых коллекций в одном хранилище);
Возможность использования курсоров для перебора данных в представлениях на основе снапшота;
Модель данных, оптимизированная для смешанных типов нагрузки;
Гибкие механизмы управления надёжностью хранения;
Настраиваемые схемы оркестровки данных (распределения по разным типам памяти, присутствующим в хранилище);
Библиотека с C API, которая может динамически связываться с любыми приложениями. Наличие привязок для Python и Java;
Поддержка хранения ключей и данных в сжатом виде.
Возможность масштабирования до терабайтов данных и сотен миллиардов ключей в хранилище;
Эффективная обработка тысяч параллельных операций;
Возможность использования в одном хранилище SSD-накопителей разных классов для оптимизации производительности и продления срока службы накопителя.

Значительное изменение номера версии в HSE 3.0 вызвано наличием изменений в API, CLI, параметрах конфигурации, REST-интерфейсе и формате хранения, нарушающих обратную совместимость. При подготовке нового выпуска основное внимание было уделено оптимизации хранения данных для повышения производительности при некоторых важных видах нагрузки. Среди наиболее заметных улучшений:

Производительность операций с курсором теперь не зависит от длины фильтра, что позволяет без снижения пропускной способности перебирать ключи, используя курсор с произвольными фильтрами.
Увеличена производительность чтения и записи в ситуациях использования монотонно увеличивающихся ключей, например, при хранении срезов значений параметров, записываемых через определённые промежутки времени, в системах мониторинга, финансовых платформах и системах опроса состояний датчиков.
В API предоставлена возможность управления сжатием на уровне отдельных значений, что позволяет держать в одном хранилище как сжатые, так и несжатые записи.
Добавлены новые режимы открытия KVDB, позволяющие формировать запросы к БД в хранилищах, доступных только на чтение.

Источник: http://www.opennet.ru/opennews/art.shtml? num=58165