Выпуск распределенной системы хранения конфигурации etcd 3.004.07.2016 10:15

Проект CoreOS, развивающий основанное на идеях контейнерной изоляции серверное окружение, подготовил релиз etcd 3.0, высоконадёжного распределённого хранилища параметров конфигурации, задаваемых в форме ключ/значение. Основным назначением etcd является предоставление унифицированного механизма хранения конфигурации и информации о работающих сервисах для изолированных контейнеров с типовой начинкой. Код etcd написан на языке Go и распространяется под лицензией Apache 2.0.

Etcd позволяет организовать единое хранилище конфигурации для группы серверов, которое реплицируются на все узлы и поддерживается в синхронизированном состоянии с использованием протокола Raft. Наличие копии данных на всех хостах позволяет исключить потерю конфигурации при выходе из строя отдельного узла. В etcd также могут сохраняться временные данные, для которых предусмотрена возможность определения времени жизни записи. Для доступа к конфигурации предоставляется простой API, основанный на использовании gRPC.

Имеется встроенная возможность отслеживания изменения состояния ключа или директории с вызовом обработчика в случае обнаружения изменения (например, можно применить новое значение параметра конфигурации). Для защиты канала связи при обращении из внешней сети предоставляется поддержка TLS-шифрования, аутентификации клиентов по ключам и разграничения доступа через ACL. На типовом оборудовании etcd обеспечивает производительность порядка 10 тысяч операций записи в секунду. Для доступа к базе можно использовать утилиту etcdctl.

В etcd 3.0 представлена третья версия API etcd, в котором отражены пожелания пользователей и опыт крупных промышленных внедрений etcd. В частности, в новой версии API решены многие проблемы с масштабированием, благодаря новому движку хранения и полной поддержке механизма управления одновременным доступом с помощью многоверсионности (MVCC, Multi-Version Concurrency Control). Для обращения к APIv3 теперь может применяться gRPC и HTTP/2 (ранее предлагаемый JSON/HTTP транслируется через gRPC). Применение протокола gRPC, использующего protobuf, позволило в два раза увеличить скорость обработки запросов, по сравнению с применением JSON в etcd2, а HTTP/2 дал возможность мультиплексирования соединений и создания постоянных двунаправленных каналов без необходимости установки отдельного соединения на каждый запрос и без применения поллинга для проверки состояния.

Из новшеств APIv3 можно отметить:

Плоское пространство бинарных ключей, в котором вместо иерархии и каталогов применяется выборка по префиксу и интервалу.
Средства для работы c многоверсионным хранилищем, позволяющие обращаться к прошлым версиям ключей;
Несколько запросов теперь могут группироваться и выполняться рамках одной операции;
Поддержка определения времени жизни (TTL), единого для заданного набора ключей (теперь записи могут привязываться к TTL, без сохранения TTL как атрибута записи, что позволяет обновлять лишь одно поле с TTL без необходимости обновления каждой записи);
Возможность определения квот для ограничения используемого в etcd размера хранилища;
Экспериментальная поддержка v3 Auth API.

Из не связанных с API улучшений отмечается проведение работы по увеличению отзывчивости и пропускной способности, в частности, снижены накладные расходы при обработке API и оптимизирована реализация лога отложенной записи. Добавлен новый бэкенд хранения, обеспечивающий меньший расход памяти для хранения каждого ключа. Реализована автоматическая настройка шифрования TLS. Реализованы новые возможности утилиты etcdctl: поддержка создания территориально разнесённого зеркала, средства организации блокировок mutex поверх etcd, возможность сохранения снапшотов текущего состояния бэкенда etcd, средства отслеживания работоспособности, поддержка выбора главного экземпляра в кластере и экспериментальная команда «gateway».