Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4.030.03.2018 00:15

Подготовлен новый выпуск распределённого отказоустойчивого хранилища объектов LeoFS, совместимого с клиентами, использующими API Amazon S3 и REST-API, а также поддерживающего режим работы в роли NFS-сервера. Имеются оптимизации для хранение как мелких, так и очень больших объектов, присутствует встроенный механизм кэширования, возможна репликация хранилищ между дата-центрами. Среди целей проекта отмечается достижение надёжности 99.9999999% за счёт избыточного реплицирования дубликатов и исключения единой точки отказа. Код проекта написан на языке Erlang и распространяется под лицензией Apache 2.0.

LeoFS состоит из трёх компонентов:

LeoFS Storage — обслуживает операции добавления, извлечения и удаления объектов и метаданных, отвечает за выполнение репликации, восстановления и формирования очереди запросов клиентов.
LeoFS Gateway — обслуживает HTTP-запросы и перенаправляет ответы клиентам с использованием REST-API или S3-API, обеспечивает кэширование наиболее востребованных данных в памяти и на диске.
LeoFS Manager — отслеживает работу узлов LeoFS Gateway и LeoFS Storage, ведёт мониторинг состояния узлов и проверяет контрольные суммы. Гарантирует целостность данных и высокую доступность хранилища.

Основные новшества LeoFS 1.4.0:

Поддержка сборки с использованием Erlang/OTP 20;
Поддержка типа сервисов «notify» для systemd;
Возможность мониторинга состояния узлов хранения (leo_storage) при помощи SNMP;
Оправка администратору сводки сообщений об ошибках при запуске;
Переработана система уведомлений о медленной обработке данных, чтобы избежать узких мест;
В управляющий интерфейс (leofs-adm) добавлена операция recover-disk для увеличения производительности восстановления в случае выхода дисков из строя.