[Перевод] Как настроить мониторинг событий в Kubernetes: 4 бесплатных инструмента04.08.2021 12:01

plzz2vzeqiygmisthtzqm2av7bm.jpeg
Flying Ships Harbour by annewipf

Отсутствие встроенного инструмента наблюдаемости — один из наиболее серьезных недостатков Kubernetes. Команда Kubernetes aaS Mail.ru Cloud Solutions перевела статью о четырех инструментах с открытым исходным кодом, которые подойдут для мониторинга событий.

Kubernetes — платформа с открытым исходным кодом, с ее помощью удобно управлять процессами контейнеризации и автоматизации. Но есть оборотная сторона медали: хотя в Kubernetes встречаются разные проблемы, одна из самых распространенных — наблюдаемость.

События Kubernetes показывают, что происходит в кластере при изменении состояния или ошибках, вызванных другими ресурсами системы. Благодаря событиям вы поймете, почему система не может вытянуть Docker-образ или почему некоторые поды были выселены из кластера. События — это тип ресурса, который автоматически создается всеми основными компонентами и расширениями в кластере через API-сервер.

Доступ к событиям Kubernetes


В Kubernetes нет встроенного инструмента, который позволял бы хранить события за длительный период времени. По умолчанию они хранятся недолго (1 час), а затем удаляются.

Доступ к логам событий Kubernetes можно получить напрямую из кластера при помощи kubectl, еще их можно собирать или просматривать через инструмент ведения журнала.

Чтобы получить список событий для определенного ресурса кластера, нужно запустить для него команду kubectl describe. Другой вариант — запустить kubectl get events, она выводит список событий по определенному ресурсу или всему кластеру. А чтобы собрать и просмотреть события, при развертывании запустите kubectl get events --watch и используйте сторонние инструменты для ведения журнала.

Для просмотра событий Kubernetes есть как платные, так и бесплатные инструменты. Посмотрим на бесплатные варианты и разберем, как их использовать для мониторинга рабочей среды Kubernetes.

Kubewatch


Kubewatch — инструмент для мониторинга событий Kubernetes с открытым исходным кодом, он написан на Golang. Kubewatch отслеживает изменения во всех ресурсах кластера и уведомляет о них через заранее выбранный канал или веб-хук. Поддерживает публикацию уведомлений на разных каналах, в том числе в Slack, Hipchat, Webhook, Flock, Mattermost и SMTP.

Для установки и настройки Kubewatch в кластере Kubernetes используют простые команды в kubectl и helm.

Способ установки 1: kubectl


Чтобы установить Kubewatch при помощи kubectl, создайте файл ConfigMap.yml для хранения конфигурации kubewatch. Для доступа к серверу API будет создан контейнер kubewatch вместе с sidecar-контейнером kubectl.

Чтобы создать configmap в Kubernetes, выполните команду: 

$ kubectl create -f kubewatch-configmap.yaml


Затем создайте под напрямую или используйте собственные средства развертывания: 

$ kubectl create -f kubewatch.yaml


Когда под запустится и заработает, уведомления о событиях в Kubernetes начнут появляться на канале, который вы указали. Вот пример уведомления о событии, отправленного в Slack через Kubewatch:

image-loader.svg

Способ установки 2: Helm


Для начала убедитесь, что Helm установлен в вашем кластере. Затем настройте Kubewatch при помощи команды: 

helm install --name

kubewatch bitnami/kubewatch-- set='rbac.create=true,slack.channel=#YOUR_CHANNEL,slack.token=xoxb-YOUR_TOKEN,resourcesToWatch.pod=true,resourcesToWatch.daemonset=true'


Другой вариант — создать конфигурацию в файле .yml: 

$ helm upgrade --install kubewatch bitnami/kubewatch --values=values-file.yml


Eventrouter


Eventrouter — простой и удобный инструмент Kubernetes, который отслеживает события ресурсов в кластере и отправляет уведомления в приемник. В этом решении приемник используется для долгосрочного хранения событий Kubernetes. Благодаря этому они доступны на случай отладки и долгосрочного системного анализа.

Для установки, удаления и просмотра событий развертывания используется kubectl. Запустить Eventrouter в кластере: 

$ kubectl create 
-f https://raw.githubusercontent.com/heptiolabs/eventrouter/master/yaml/eventrouter.yaml


Удалить Eventrouter: 

$ kubectl delete 
-f https://raw.githubusercontent.com/heptiolabs/eventrouter/master/yaml/eventrouter.yaml


Проверить результаты работы Eventrouter: 

$ kubectl logs -f deployment/eventrouter -n kube-system


Event Exporter


Event Exporter — инструмент с открытым исходным кодом, отслеживает события Kubernetes, определяет их продолжительность и выдает метрики. Их можно запрашивать на основе количества событий и уникальных событий за последний час. Event Exporter поддерживает разные команды для развертывания, создания, запуска и проверки метрик. Чтобы собрать Event Explorer, выполните команду: 

$ VERSION=v1.0.0 REGISTRY=docker.io make build


Инструмент можно запускать как внутри Kubernetes (с помощью учетной записи службы Kubernetes), так и вне его (через поиск файла kubeconfig в директории /.kube).

Запустить Event Explorer в Kubernetes: 

$ ./event_exporter


Запустить вне Kubernetes: 

$ ./event_exporter --kubeConfigPath=$HOME/.kube/config


Проверка метрик: 

curl http://:9102/metrics


Еще Event Exporter можно развернуть непосредственно в кластере Kubernetes при помощи образа: 

caicloud/event-exporter:${VERSION}


Sloop


Sloop — независимое решение для мониторинга, долгосрочного хранения, визуализации событий и изменений в ресурсах Kubernetes. В нем есть график обновлений как для имеющихся ресурсов, так и для тех, которые уже не существуют в кластере. А на визуальной панели мониторинга удобно смотреть метрики событий при отладке или исправлении ошибок.

image-loader.svg

Установить Sloop можно с помощью helm chart, Docker или сборки из исходного кода. Чтобы собрать Sloop из исходного кода, клонируйте репозиторий на Github и соберите его с помощью из make-файла: 

mkdir -p $GOPATH/src/github.com/salesforce

cd $GOPATH/src/github.com/salesforce

git clone 

cd sloop

make

$GOPATH/bin/sloop


После этого Sloop заработает на адресе localhost:8080.

Мы разрабатываем Kubernetes as a Service и будем рады получить от вас обратную связь по его работе. При регистрации вы получите на тестирование 3000 бонусных рублей.


Что почитать по теме:

  1. Запуск проекта в Kubernetes за 60 минут.
  2. Деплоим проект на Kubernetes в Mail.ru Cloud Solutions. Часть 1.
  3. Как устроен Kubernetes as a Service на платформе Mail.ru Cloud Solutions.
  4. 90+ полезных инструментов для Kubernetes: развертывание, управление, мониторинг, безопасность и не только.

© Habrahabr.ru