Разворачиваем Kubernetes-платформу Deckhouse в Yandex Cloud30.12.2022 14:01

Платформу Deckhouse можно устанавливать на виртуальные машины облачных провайдеров, на bare metal-серверы, в закрытый контур и не только. В статье рассмотрим вариант установки Deckhouse в Yandex Cloud. А чтобы убедиться, что все внутренние ресурсы и компоненты работают как надо, заглянем в веб-интерфейсы платформы, в том числе Grafana и Kubernetes Dashboard.

О платформе

Deckhouse — это Open Source-решение для автоматизации обслуживания кластеров Kubernetes. В основе платформы лежат upstream-версия Kubernetes и компоненты с открытым кодом, которые признаны стандартами в cloud native-экосистеме. Платформа связывает их между собой и предоставляет всё необходимое для production-окружений, сводя к минимуму ручные манипуляции.

В Deckhouse включены такие инструменты, как CoreDNS, cert-manager, Ingress NGINX Controller, Prometheus + Grafana, dex, Istio, Cilium. С подробным списком можно ознакомиться в документации. На основе этих проектов подготовлены соответствующие модули платформы, с помощью которых пользователь может подключить и настроить необходимый инструмент. Конфигурации всех модулей интегрированы друг с другом, что позволяет отдавать на откуп Deckhouse многие рутинные задачи по администрированию кластера. Модули обновляются регулярно и автоматически.

Требования к установке

Для установки Deckhouse вам потребуются:

ПК с Linux (Ubuntu 18.04+, Fedora 35+), macOS 10.15+ или Windows 10+.
Docker (инструкции по установке: Ubuntu, macOS, Windows).
HTTPS-доступ к хранилищу контейнеров registry.deckhouse.io.
Доступ к API Yandex Cloud.
Учетная запись с правами на создание ресурсов.
Установленная и настроенная утилита Yandex Cloud (CLI).

Инсталлятор Deckhouse, запущенный на вашей машине, подключится к API Yandex Cloud и создаст один master-узел и один worker-узел. Рекомендованные минимальные характеристики узлов:

Поддерживаемые версии ОС для узлов:

РЕД ОС 7.3;
AlterOS 7;
Astra Linux Special Edition 1.7;
CentOS 7, 8, 9;
Debian 9, 10, 11;
Ubuntu 16.04, 18.04, 20.04, 22.04.

Подготовка Yandex Cloud и настройка Yandex Cloud CLI

Перед тем, как устанавливать Deckhouse в облако, нужно подготовить ваш аккаунт.

Если вы уже работали с облаком, и у вас есть все необходимое, этот раздел можно пропустить.

Создаем свое облако

Переходим на сайт Yandex Cloud и нажимаем на кнопку Подключиться в правом верхнем углу страницы:

Для этого нужно залогиниться в Yandex Cloud либо создать новый аккаунт, если у вас его нет.

Далее необходимо настроить вашу организацию и выбрать название для будущего облака:

Указываем необходимые данные и нажимаем Создать.

Через некоторое время облако будет создано, и вы окажетесь на главной странице дашборда. На ней собраны основные настройки и параметры ваших облачных сервисов:

У одного аккаунта может быть несколько облаков, их список отображен в левой части главного экрана. Сейчас там только созданное облако.

Многие услуги Yandex Cloud платные. Поэтому к облаку должен быть подключен платежный аккаунт, о чем предупреждает всплывающее в верхней части дашборда уведомление.

Чуть ниже на главной странице — список всех сервисов, которые доступны для развертывания в облаке:

Создать любой их них можно прямо из интерфейса дашборда, нажав Создать ресурс в правом верхнем углу экрана, а также с помощью консольной утилиты Yandex Cloud (CLI):

Все необходимые действия по созданию виртуальных машин Deckhouse выполнит за вас, для этого он использует CLI Yandex Cloud. Для нее необходимо настроить доступ в новое облако.

Установка и настройка Yandex Cloud (CLI)

Установите утилиту по официальной инструкции.

Все описываемые команды актуальны для UNIX-подобных операционных систем, в частности для macOS Monterey. Для Windows команды могут немного отличаться (они упомянуты в Getting Started Deckhouse).

Далее нужно получить токен авторизации в вашем аккаунте. Для этого перейдите по ссылке (при этом нужно быть авторизованным в браузере в вашем облаке). На открывшейся странице будет только одна строка — ваш токен:

Токен для доступа в облако Токен для доступа в облако

Запишите его или оставьте страницу открытой.

Выполните команду yc init и введите полученный ранее токен:

Please go to https://oauth.yandex.ru/authorize?response_type=token&client_id=1a6990aa636648e9b2ef855fa7bec2fb
 in order to obtain OAuth token.

Please enter OAuth token: AaAaBbBbCcCcDdDdEeEeFfFfGgGg

Теперь нужно выбрать облако, с которым будете работать:

Please select cloud to use:
 [1] cloud1 (id = aoe2bmdcvatao4frg22b)
 [2] cloud2 (id = dcvatao4faoe2bmrg22b)
Please enter your numeric choice: 2

И затем — каталог:

Please choose a folder to use:
 [1] folder1 (id = cvatao4faoe2bmdrg22b)
 [2] folder2 (id = tao4faoe2cvabmdrg22b)
 [3] Create a new folder
Please enter your numeric choice: 1

Далее нужно указать зону доступности; здесь можно выбрать вариант 4:

Do you want to configure a default Yandex Compute Cloud availability zone? [Y/n] Y
Which zone do you want to use as a profile default?
 [1] ru-central1-a
 [2] ru-central1-b
 [3] ru-central1-c
 [4] Don't set default zone
Please enter your numeric choice: 4

Проверьте, что все настроено как нужно, с помощью команды:

$ yc config list
token: AaAaBbBbCcCcDdDdEeEeFfFfGgGg
cloud-id: b1g159pa15cddlv5mvcr
folder-id: b1g8o9jbt587mbadu25k

Утилита установлена и готова к работе с вашим облаком.

После того, как облако создано и доступ к нему настроен, можно переходить к установке Deckhouse.

Установка Deckhouse

Для развертывания кластера будет использоваться схема размещения узлов в облаке без использования NAT. В этой схеме IP-адреса всех машин в кластере публичные и свободно доступны из интернета.

Схема размещения будущего кластера в облаке без использования NAT

Подробную информацию о возможностях работы с Yandex Cloud можно получить в документации к модулю cloud-provider-yandex.

Подготовка окружения

Для того, чтобы Deckhouse смог работать с облаком, необходимо создать сервисный аккаунт с правами на редактирование.

Сделать это можно как средствами админки Yandex Cloud, так и из консоли. Мы пойдем вторым путем:

$ yc iam service-account create --name habr
id: 
folder_id: 
created_at: "YYYY-MM-DDTHH:MM:SSZ"
name: habr

Здесь мы создаем нового пользователя с именем habr. В ответ нам возвращаются его параметры: ID пользователя, ID доступного каталога, дата и время создания, а также имя.

Убедиться, что все прошло как нужно, можно в панели управления, перейдя во вкладку Сервисные аккаунты. В таблице должен появиться новый пользователь:

Далее выдадим новому пользователю права с ролью editor:

$ yc resource-manager folder add-access-binding  --role editor --subject serviceAccount:
done (1s)

Новая роль также появится в панели:

Новая роль пользователя

Теперь создадим JSON-файл с параметрами авторизации, который в дальнейшем будет использоваться для входа в облако:

$ yc iam key create --service-account-name habr --output deckhouse-sa-key.json

Файл создан. Теперь можно устанавливать Deckhouse!

Установка

Переходим на следующую страницу «Быстрого старта».

Выбор версии платформы

Здесь нужно выбрать Community-(CE) или Enterprise-версию (EE) Deckhouse. Их отличия:

Enterprise-версия доступна только при наличии лицензионного ключа*. Мы рассмотрим пример с бесплатной CE-редакцией. Поэтому оставляем выбор по умолчанию:

* Примечание

Чтобы оценить всю функциональность Deckhouse, можно протестировать Enterprise-версию в триальном режиме в течение 30 дней.

Генерация конфигурационных файлов

Теперь необходимо сгенерировать два файла с настройками, которые будут использоваться для развертывания кластера:

config.yml — файл первичной конфигурации кластера. Содержит параметры инсталлятора, параметры доступа облачного провайдера и начальные параметры кластера.
resources.yml — настройки узлов и Ingress-контроллера.

Рассмотрим их подробнее. Файл config.yml:

# Секция с общими параметрами кластера.
# https://deckhouse.ru/documentation/v1/installing/configuration.html#clusterconfiguration
apiVersion: deckhouse.io/v1
kind: ClusterConfiguration
clusterType: Cloud
cloud:
  provider: Yandex
  # Префикс объектов, создаваемых в облаке при установке.
  prefix: cloud-demo
# Адресное пространство Pod'ов кластера.
podSubnetCIDR: 10.111.0.0/16
# Адресное пространство для service'ов кластера.
serviceSubnetCIDR: 10.222.0.0/16
kubernetesVersion: "1.23"
clusterDomain: "cluster.local"
---
# Секция первичной инициализации кластера Deckhouse.
# https://deckhouse.ru/documentation/v1/installing/configuration.html#initconfiguration
apiVersion: deckhouse.io/v1
kind: InitConfiguration
deckhouse:
  releaseChannel: Stable
  configOverrides:
    global:
      modules:
        # Шаблон, который будет использоваться для составления адресов системных приложений в кластере.
        # Например, Grafana для %s.example.com будет доступна на домене 'grafana.example.com'.
        # Можете изменить на свой сразу, либо следовать шагам руководства и сменить его после установки.
        publicDomainTemplate: "%s.example.com"
    userAuthn:
      controlPlaneConfigurator:
        dexCAMode: DoNotNeed
      publishAPI:
        enable: true
        https:
          mode: Global
---
# Секция, описывающая параметры облачного провайдера.
# https://deckhouse.io/documentation/v1/modules/030-cloud-provider-yandex/cluster_configuration.html
apiVersion: deckhouse.io/v1
kind: YandexClusterConfiguration
layout: WithoutNAT
# Параметры доступа к облаку Yandex Cloud.
provider:
  # ID облака.
  cloudID: *!CHANGE_CloudID*
  # ID каталога.
  folderID: *!CHANGE_FolderID*
  # JSON-ключ, сгенерированный с помощью `yc iam key create` на предыдущем шаге.
  # Пример заполнения serviceAccountJSON:
  # serviceAccountJSON: |
  #    {
  #      "id": "...",
  #      "service_account_id": "...",
  #      "created_at": "2022-08-04T05:38:34.756137618Z",
  #      "key_algorithm": "RSA_2048",
  #      "public_key": "-----BEGIN PUBLIC KEY-----...-----END PUBLIC KEY-----\n",
  #      "private_key": "-----BEGIN PRIVATE KEY-----...-----END PRIVATE KEY-----\n"
  #    }
  serviceAccountJSON: *!CHANGE_ServiceAccountJSON*
masterNodeGroup:
  replicas: 1
  instanceClass:
    cores: 4
    memory: 8192
    # ID образа в Yandex Cloud. Рекомендуется использовать актуальную сборку Ubuntu 22.04 LTS.
    # Для получения можете воспользоваться командой:
    # yc compute image list --folder-id standard-images --format json | jq -r '[.[] | select(.family == "ubuntu-2204-lts")] | sort_by(.created_at)[-1].id'
    imageID: fd864gbboths76r8gm5f
    externalIPAddresses:
    - "Auto"
# Данная подсеть будет разделена на три равных части и использована для создания подсетей в трёх зонах Yandex Cloud.
nodeNetworkCIDR: "10.241.32.0/20"
# Публичная часть SSH-ключа для доступа к узлам облака.
# Этот ключ будет добавлен пользователю на созданных узлах (имя пользователя зависит от используемого образа).
sshPublicKey: *!CHANGE_SSH_KEY*

Здесь нужно обратить внимание на поля cloudID, folderID, serviceAccountJSON и sshPublicKey. Введите туда нужные данные и сохраните файл вместе с уже сгенерированным JSON-файлом с конфигурацией доступа в Yandex Cloud (удобнее всего это сделать в отдельном каталоге).

Получить значения cloudID и folderID можно командой yc config list, а содержимое публичной части вашего SSH-ключа — командой cat ~/.ssh/id_rsa.pub.

Файл resources.yml:

apiVersion: deckhouse.io/v1
kind: NodeGroup
metadata:
  name: worker
spec:
  cloudInstances:
    classReference:
      kind: YandexInstanceClass
      name: worker
    maxPerZone: 1
    minPerZone: 1
    # Можно изменить
    zones:
    - ru-central1-a
  disruptions:
    approvalMode: Automatic
  nodeTemplate:
    labels:
      node.deckhouse.io/group: worker
  nodeType: CloudEphemeral
---
apiVersion: deckhouse.io/v1
kind: YandexInstanceClass
metadata:
  name: worker
spec:
  # Можно изменить
  cores: 4
  # Можно изменить
  memory: 8192
  # Можно изменить
  diskSizeGB: 30
---
apiVersion: deckhouse.io/v1
kind: IngressNginxController
metadata:
  name: nginx
spec:
  # Имя Ingress-класса для использования Ingress Nginx controller
  ingressClass: nginx
  # способ поступления трафика из внешнего мира
  inlet: LoadBalancer
  # Описывает, на каких узлах будет находиться компонент. Лейбл node.deckhouse.io/group:  устанавливается автоматически.
  nodeSelector:
    node.deckhouse.io/group: worker
---
apiVersion: deckhouse.io/v1
kind: ClusterAuthorizationRule
metadata:
  name: admin
spec:
  # Список учётных записей Kubernetes RBAC
  subjects:
  - kind: User
    name: admin@deckhouse.io
  # Предустановленный шаблон уровня доступа
  accessLevel: SuperAdmin
  # Разрешить пользователю делать kubectl port-forward
  portForwarding: true
---
apiVersion: deckhouse.io/v1
kind: User
metadata:
  name: admin
spec:
  email: admin@deckhouse.io
  # Это хэш сгенерированного пароля vwhnw62bio
  # Сгенерируйте свой или используйте этот, но только для тестирования
  # echo "vwhnw62bio" | htpasswd -BinC 10 "" | cut -d: -f2
  # Можно изменить
  password: '$2a$10$QZ/5WOgdoiqr9f0GG4q3oOcODjwqcCxvWdJnJX.I/L3LhJUeLDBU.'

В последней строке необходимо указать хэш пароля, который вы хотите использовать для доступа в кластер. Для этого нужно придумать сам пароль, а затем сгенерировать его хэш-сумму.

Сгенерировать новый пароль можно любым удобным способом — например, так:

$ openssl rand 14 -base64
QIAbnGxzzDZDGxbxdAc=

Теперь посчитаем его хэш-сумму:

$ echo "QIAbnGxzzDZDGxbxdAc=" | htpasswd -BinC 10 "" | cut -d: -f2
$2y$10$VPpfbWGk5L34NkXy7wFtbO9YIbQt0UifkYPowkx0VOeJp23qlmFga

Вставляем хэш созданного пароля в поле password, затем сохраняем файл с нужным именем и помещаем рядом с предыдущими двумя файлами:

$ tree .
.
├── config.yml
├── deckhouse-sa-key.json
└── resources.yml

Развертывание в Yandex Cloud

Для установки Deckhouse Platform используется Docker-образ, в который необходимо передать конфигурационные файлы и SSH-ключи доступа на master-узел.

Чтобы запустить установку, нужно выполнить команду из каталога с конфигурационными файлами:

docker run --pull=always -it -v "$PWD/config.yml:/config.yml" -v "$HOME/.ssh/:/tmp/.ssh/" \
  -v "$PWD/resources.yml:/resources.yml" -v "$PWD/dhctl-tmp:/tmp/dhctl" registry.deckhouse.io/deckhouse/ce/install:stable bash

После того, как образ будет выкачан, откроется приглашение для работы внутри контейнера:

213ec9aee27d: Already exists
7699c8f5da30: Pull complete
d408eafd71b1: Pull complete
e79ec47abd43: Pull complete
dbe384732cbc: Pull complete
5d67ae3b7d74: Pull complete
a1bbf50e3ae0: Pull complete
Digest: sha256:014279df55f931f519d642eba4eed3ed02f3bdf4f81e6dd7a571bee353566042
Status: Downloaded newer image for registry.deckhouse.io/deckhouse/ce/install:stable
WARNING: The requested image's platform (linux/amd64) does not match the detected host platform (linux/arm64/v8) and no specific platform was requested
[deckhouse] root@ee5907591d42 / #

Выполните команду:

dhctl bootstrap --ssh-user=ubuntu --ssh-agent-private-keys=/tmp/.ssh/id_rsa --config=/config.yml --resources=/resources.yml

После этого запустится процесс развертывания кластера в облаке, который займет около 15 минут.

В команде выше в параметре --ssh-user указывается имя пользователя для входа по SSH на создаваемые узлы. Оно должно соответствовать образу, который указан в config.yaml (ID образа). Для выбранного нами образа это пользователь ubuntu.

В процессе установки в терминале будет отображаться полный лог всего, что происходит. В нем могут встречаться сообщения о warning’ах и error’ах, которые возникают из-за ожидания развертывания ресурсов на машинах. Это нормально, и не означает, что все сломалось.

Завершится процесс установки новым приглашением ввести команду внутри контейнера. Также будет показан адрес master-узла, куда можно постучаться по SSH, чтобы попасть на созданную ВМ:

┌ 
    
            © Habrahabr.ru