Домашняя лаборатория21.01.2023 17:31

Угадай, данную статью написал ChatGPT или нет?

Хотите потестировать приложение, или опробовать в работе инструмент? В этой статье опишу то, как организовал тестовый стенд на Linux. Стенд поддерживает работу с доменами, умеет генерировать TLS сертификаты, легко масштабируется, окружение строится по принципе IaaC, не требует много ресурсов, легко разворачивается скриптами или SCM, есть UI, не зависит от внешних сервисов.

Я являюсь системным инженером и наиболее эффективным языком для инструкций считаю «птичий» технический язык. Содержимое представляет собой последовательность команд с вкраплением комментариев, по которым коллега может однозначно понять этапы построения окружения без лишних слов. А дополнительную информацию о перечисленных инструментах можно легко получить уже из документации и после чего внести правки для тестового стенда. Кроме примеров кода и команд опишу те плюсы и те минусы, которые свойственны этой архитектуре, как бы громко это не звучало.

Конфигурация обыденная и не представляет ценности или сложности с точки зрения моего опыта, но может пригодится начинающим инженерам или даже опытным программистам, которые пишут код для сервисов или используют сервисную архитектуру для решения задач, но не погружаются в технические детали.

Используемые инструменты

Nomad — https://www.nomadproject.io
Consul — https://www.consul.io
Vault — https://www.vaultproject.io
Traefik — https://traefik.io
Packer — https://www.packer.io
Docker — http://docker.io

Плюсы

• Набор инструментов с легкостью умещается на небольшой виртуальной машине

• Инженер использует на практике современные подходы по релизу и выкладке программного обеспечения

• В случае необходимости стенд легко масштабируется в боевое окружение. Отлично подходит для MVP проекта

Минусы

• Не подходит для отладки «на лету», но такая возможность есть

• Не пользуется популярностью

Краткое описание

Код приложения собирается с помощью Packer в образ и размещается на локальном сервере (аналог Docker Registry). На данном этапе можно потренироваться с версионированием и работой в различных окружениях.

Приложение запускается в виде контейнера Docker ивместе с тем появляется возможность оркестрации, т. е. множественных запусков и стратегий обновления контейнеров с помощью Nomad. Секретные данные передаются в контейнер шаблонами go-template или через переменные окружения из Vault.

В случае Web-приложения или приложения с административным интерфейсом в Traefik создаются точки входа HTTPS с сертификатами TLS от Let’sEncrypt.

Как будет проходить настройка

Я буду приводить примеры установки и настройки сервера для Ubuntu, но различия с другими дистрибутивами будут только на этапе установки пакетов.

Виртуальная машина

Для тестового стенда подойдет виртуальная машина с 2 ядрами, 4Г памяти и диском объемом 20Г. Можете оценить объем используемой памяти на примере моего стенда:

 3236 root     traefik traefik                  N/A    1.37%    1.37%    1.37%
 3488 root     bin/console bot run              N/A    1.16%    1.28%    1.42%
 3416 root     bin/console bot run              N/A    1.17%    1.28%    1.42%
  858 root     /usr/bin/containerd              N/A    1.49%    1.49%    1.52%
 3300 nobody   /bin/prometheus --config.fi      N/A    1.56%    1.56%    1.56%
  986 root     /usr/bin/dockerd -H unix://      N/A    2.13%    2.13%    2.21%
  928 consul   /usr/bin/consul agent -conf      N/A    2.35%    2.35%    2.35%
 3840 root     /usr/bin/nomad agent -confi      N/A    1.57%    1.67%    2.48%
  934 vault    /usr/bin/vault server -conf      N/A    5.45%    5.45%    5.45%
-------------------------------------------------------------------------------
   88 12                                        N/A   25.49%   28.31%   45.90%

Это полностью запущенный стенд состоящий из 5 сервисов на 4Г памяти (45% занято). Дороже всего обходится секретность.

Установка инструментов и репозиториев

https://developer.hashicorp.com/nomad/downloads
https://docs.docker.com/engine/install/ubuntu/

Hidden text

mkdir -p /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | gpg --dearmor -o /etc/apt/keyrings/docker.gpg
curl -fsSL https://apt.releases.hashicorp.com/gpg | gpg --dearmor -o /usr/share/keyrings/hashicorp-archive-keyring.gpg
echo "deb [signed-by=/usr/share/keyrings/hashicorp-archive-keyring.gpg] https://apt.releases.hashicorp.com \
    $(lsb_release -cs) main" > /etc/apt/sources.list.d/hashicorp.list
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
    $(lsb_release -cs) stable" > /etc/apt/sources.list.d/docker.list

Устанавливаем пакеты

apt update
apt install nomad vault consul docker-ce docker-compose packer jq

Настройка Docker + Docker Registry

systemctl start docker

Сейчас нам нужно запустить локальное хранилище образов, которое будет работать идентично публичному облаку или внутреннему в компании.

Создаем файл с описанием сервиса docker-compose.yml

cat >docker-compose.yml <

cat >config.yml <

docker-compose up -d

CONSUL_KEY=$(consul keygen)

cat >/etc/consul.d/lab_consul.hcl <

systemctl restart consul; sleep 10
consul acl bootstrap --format json > ./acl-token-bootstrap-consul.json
export CONSUL_HTTP_TOKEN=`cat ./acl-token-bootstrap-consul.json | jq -r ".SecretID"`

# consul members
Node  Address         Status  Type    Build   Protocol  DC   Partition  Segment
test  127.0.0.1:8301  alive   server  1.14.0  2         dc1  default    

echo "http://$(curl -s ifconfig.me):8500"

cat >/etc/vault.d/vault.hcl <

systemctl restart vault; sleep 10
export VAULT_ADDR='http://127.0.0.1:8200'
vault operator init -key-threshold 1 -key-shares 1 -format json > ./acl-token-bootstrap-vault.json
export VAULT_TOKEN=$(cat ./acl-token-bootstrap-vault.json | jq -r ".root_token")
export VAULT_UNSEAL_KEY=$(cat ./acl-token-bootstrap-vault.json | jq -r ".unseal_keys_b64 | .[]")
vault operator unseal $VAULT_UNSEAL_KEY
vault login $VAULT_TOKEN

vault secrets enable -version=2 kv

vault kv put kv/consul/token value=$CONSUL_HTTP_TOKEN

echo "http://$(curl -s ifconfig.me):8200"

cat >/etc/nomad.d/lab_nomad.hcl <

systemctl restart nomad; sleep 10
nomad acl bootstrap -json > ./acl-token-bootstrap-nomad.json
export NOMAD_TOKEN=`cat ./acl-token-bootstrap-nomad.json | jq -r ".SecretID"`

echo "http://$(curl -s ifconfig.me):4646"

export MY_MAIL="some@domain.ltd"
cat >traefik.nomad <

nomad plan traefik.nomad
nomad run traefik.nomad

echo "http://$(curl -s ifconfig.me):8081"

cat >whoami.pkr.hcl <

packer init .
packer build .

cat >whoami.nomad <

nomad plan whoami.nomad
nomad run whoami.nomad

echo "http://$(curl -s ifconfig.me)"

curl https://git.sr.ht/~wilful/Shared/blob/master/init.sh | bash -x

journalctl -t laboratory -xe