HashiСorp Vault & Kubernetes Secret: используем vault-secrets-operator05.08.2021 11:46

Vault от HashiСorp — довольно известное open-source-решение для хранения секретов и неплохая альтернатива реализации секретов в Kubernetes. Vault использует свой сайдкар-контейнер на каждом поде, который получает секреты из хранилища и доставляет их в под или же реализует доступ к секретам через csi-драйвер.

Но как быть, если необходимо положить секреты из Vault в секреты Kubernetes? Например, мы хотим хранить и обновлять свой tls-сертификат для ингресса из Vault. Или мы решили использовать gitops и хотим, чтобы в репозитории безопасно хранилось все описание инфраструктуры, в том числе и секретов Kubernetes?

Разберем этот сценарий на практике и реализуем его с помощью vault-secrets-operator.

Схема работы vault-secrets-operator

При использовании оператора у нас появляется возможность создать CRD-объект с описанием kubernetes-секрета. Cамо это описание мы можем безопасно хранить в репозитории, а его данные будут находиться в Vault:

Установка и настройка Vault. На эту тему написано уже много мануалов, так что подробно останавливаться не буду. Например, можно положиться на официальную документацию установки через helm-чарт в кластер Kubernetes.

С его помощью несложно сделать HA-установку c базой PostgreSQL и настроенным ингрессом. Главное в этом случае — не забыть создать в базе таблицы для HA-режима. После необходимо проинициализировать под командой vault operator init, если хотите вручную распечатывать Vault при перезапусках подов.

Итак, у нас на руках токен доступа, наш Vault настроен и доступен извне. Ставим себе консольную утилиту Vault на десктоп и создаем переменные окружения (у вас, конечно, будут свои значения).

export VAULT_ADDR=https://vault.example.cloud 
VAULT_TOKEN=s.cyVpg9kDV10CQt9fEaIhdo

Проверяем статус нашего vault-сервера.

vault status

Key         	Value
---         	-----
Seal Type   	shamir
Initialized 	true
Sealed      	false
Total Shares	5
Threshold   	3
Version     	1.7.3
Storage Type	postgresql
Cluster Name	vault-cluster-d487efe3
Cluster ID      11aa752a-d492-8784-6c26-e9a3e05952f9
HA Enabled  	true
HA Cluster      https://vault-0.vault-internal:8201
HA Mode     	active
Active Since    2021-07-08T09:30:53.565132822Z

Здесь мы также можем обратить внимание на:

• Sealed — запечатан ли наш Vault;

• HA Enabled — включен ли HA-режим работы;

• Total shares — общее количество ключей;

• Threshold — количество ключей, необходимое для распечатывания.

Отправка сертификата в Vault. В нашем примере для простоты воспроизведения будем использовать самоподписанный tls-сертификат.

Генерируем его для домена site.example.cloud:

openssl req -x509 -newkey rsa:4096 -keyout tls.key -out tls.crt -nodes -days 365 -subj '/CN=site.example.cloud'

Создаем key-value хранилище в Vault и закидываем в него сгенерированный сертификат:

vault secrets enable -path=ingress-tls kv

vault write ingress-tls/site.example.cloud tls.crt=@tls.crt tls.key=@tls.key

На всякий случай проверим наш сертификат в Vault:

vault read ingress-tls/site.example.cloud

Cоздание политики на чтение секретов и генерация токена. Сертификат на месте. Теперь создадим политику и сгенерируем на ее основе токен доступа к хранилищу, где лежит сертификат.

cat <

vault token create -period=720h -policy=vault-secrets-operator

helm repo add ricoberger https://ricoberger.github.io/helm-charts
helm repo update

cat <> operator-secrets.yaml
apiVersion: v1
kind: Secret
metadata:
  name: vault-secrets-operator
  namespace: vault-operator
type: Opaque
data:
  VAULT_TOKEN: $(echo -n s.W4ndAJbuoDMsoLDZyVBG18F2 | base64)
EOF

cat <> values.yaml
environmentVars:
  - name: VAULT_TOKEN
    valueFrom:
      secretKeyRef:
        name: vault-secrets-operator   # указываем наш секрет
        key: VAULT_TOKEN
  - name: VAULT_TOKEN_LEASE_DURATION
value: "720"
vault:
  address: "https://vault.example.cloud"
  authMethod: token
  reconciliationTime: 15  #Время в секундах, через которое оператор будет обновлять секрет
EOF

kubectl create ns vault-operator
kubectl create -f operator-secrets.yaml

helm install vault-secrets-operator ricoberger/vault-secrets-operator -n vault-operator -f values.yaml

cat <

{"level":"info","ts":1627985973.7251098,"logger":"vault","msg":"Renew Vault token"}
{"level":"info","ts":1627985978.8396158,"logger":"controllers.VaultSecret","msg":"Use shared client to get secret from Vault","vaultsecret":"default/ingress-tls"}
{"level":"info","ts":1627985978.839656,"logger":"vault","msg":"Read secret ingress-tls/site.example.cloud"}
{"level":"info","ts":1627985978.90391,"logger":"controllers.VaultSecret","msg":"Updating a Secret","vaultsecret":"default/ingress-tls","Secret.Namespace":"default","Secret.Name":"ingress-tls"}
{"level":"info","ts":1627985993.925628,"logger":"controllers.VaultSecret","msg":"Use shared client to get secret from Vault","vaultsecret":"default/ingress-tls"}
{"level":"info","ts":1627985993.9256816,"logger":"vault","msg":"Read secret ingress-tls/site.example.cloud"}
{"level":"info","ts":1627985993.9865305,"logger":"controllers.VaultSecret","msg":"Updating a Secret","vaultsecret":"default/ingress-tls","Secret.Namespace":"default","Secret.Name":"ingress-tls"}

kubectl get secrets ingress-tls -o yaml

 kubectl create -f https://raw.githubusercontent.com/xor222xor/habr-ingress/main/manifest.yml

openssl s_client -showcerts -connect site.example.cloud:443 /dev/null | openssl x509 -noout -text | grep Issuer