Выпуск кластерной ФС Lustre 2.1309.12.2019 09:30

Опубликован релиз кластерной файловой системы Lustre 2.13, используемой в большей части крупнейших Linux-кластеров, содержащих десятки тысяч узлов. Масштабируемость на столь крупных системах достигается благодаря многокомпонентной архитектуре. Ключевыми компонентами Lustre являются серверы обработки и хранения метаданных (MDS), управляющие серверы (MGS), серверы хранения объектов (OSS), хранилище объектов (OST, поддерживается работа поверх ext4 и ZFS) и клиенты.

Основные новшества:

Реализован постоянный кэш на стороне клиента (Persistent Client Cache), позволяющий задействовать локальное хранилище, такое как NVMe или NVRAM, как часть глобального пространства имён ФС. Клиенты могут кэшировать данные, связанные с создаваемыми или существующими файлами, в локально примонтированной ФС с кэшем (например, в ext4). В процессе работы текущего клиента эти файлы обрабатываются локально со скоростью локальной ФС, но, в случае попытки обращения другого клиента, автоматически мигрируют в глобальную ФС.
В маршрутизаторах LNet реализованр автоматическое обнаружение маршрутов при использовании маршрутизации по нескольким путям через разные сетевые интерфейсы (Multi-Rail Routing) и повышена надёжность работы конфигураций с узлами, имеющими несколько сетевых интерфейсов.
Добавлен режим «overstriping», при котором в одном хранилище объектов (OST) может содержаться несколько копий stripe-блоков для одного файла, что позволяет нескольким клиентам одновременно производить операции совместной записи в файл без ожидания освобождения блокировки.
Появилась поддержка саморасширяющихся схем размещения файлов (Self-Extending Layouts), увеличивающих гибкость применения режима PFL (Progressive File Layouts) в разнородных ФС. Например, когда ФС включает небольшие пулы OST на базе быстрых Flash-накопителях и большие дисковые пулы OST, предлодженная возможность позволяет в первую очередь осуществлять запись в быстрые хранилища, а после того как место закончится автоматически переключиться на медленные дисковые пулы.

Источник: http://www.opennet.ru/opennews/art.shtml? num=51994