Выпуск платформы управления ресурсами кластера Apache Mesos 1.028.07.2016 01:16

Фонд Apache передставил релиз платформы Apache Mesos 1.0, сочетающей в себе функции системы обеспечения совместного доступа к ресурсам кластера, оркестровки контейнеров и распределённого ядра для организации выполнения заданий на группе узлов. Изначально проект Mesos был разработан компанией Twitter и в 2010 году передан в руки фонда Apache. Кластеры на базе Mesos развёртнуты в таких компаниях, как Netflix, Samsung, Twitter, IBM, PayPal и Yelp.

Mesos позволяет работать к кластером как с единым набором ресурсов, абстрагируя процессоры, GPU, память, системы хранения и другие вычислительные ресурсы на физических серверах и виртуальных машинах. При выполнении распределённых приложений и фреймворков Mesos берёт на себя работу по динамическому распределению и изоляции имеющихся ресурсов. Поддерживается работа с такими фреймворками, как Hadoop, MPI, Hypertable и Spark, а также приложениями, работающими в условиях динамического разделения мощности доступных узлов кластера.

Mesos предоставляет практически линейную масштабируемость, позволяющую охватывать тысячи узлов. При помощи Zookeeper возможно создание отказоусточивых конфигураций. Также можно отметить такие возможности, как применение обновлений без остановки, поддержка контейнеров с образами в форматах Docker и AppC, средства для изоляции ресурсов, поддержка запуска в одном кластере обычных и облачных приложений, подключение расширений через HTTP API, наличие web-интерфейса для управления и мониторинга, независимость от конкретных облачных сервисов.

Особенности новой версии:

Новый HTTP API, упрощающий создание внешних Mesos-фреймворков и позволяющий выполнять их в контейнерах или за пределами межсетевого экрана;
Унифицированная система работы с контейнерами, позволяющая фреймворкам запускать контейнеры Docker/Appc без обращения к движку docker или rkt;
Механизм изоляции контейнеров, соответствующий спецификации CNI (Container Network Interface), предложенной проектом CoreOS. При помощи CNI контейнерам можно выделять адресное пространство и подключать контейнеры к разным типам IP-сетей, применяя специальные сетевые драйверы (CNI-плагины);
Поддержка использования GPU NVIDIA в качестве ресурса в системе унифицированных контейнеров Mesos;
Управление доступом к API — для многих API теперь можно применять аутентификацию и авторизацию, а операторы через web-интерфейс могут определять правила доступа пользователей к фреймворкам и API;
Поддержка запуска Mesos в Windows.