Автоматизация развертывания стенда Kubernetes
Меня заинтересовала тема Kubernetes, и я решил освоить его. На начальном этапе все шло хорошо, пока я изучал теорию.
Однако как только дело дошло до практики внезапно выяснилось что по каким то причинам самое быстрое и распространённое решение minicube просто отказывается разворачиваться на моей Fedora. Разворачивание просто зависало на одном из этапов. Причина подозреваю была в не отключенном по умолчанию swap разделе, но на тот момент я не додумал.
Попробовав несколько вариантов с разными виртуальными машинами, я решил что раз не работает minicube, значит надо развернуть более комплексное решение. Подумал и полез в интернет. После прочтения нескольких статей на нашем ресурсе я решил остановиться на этой:
@imbasoft «Гайд для новичков по установке Kubernetes»
В ней было всё разложено по полочкам, все шаги выполнялись легко и непринуждённо. В конце получался замечательный стенд для тренировок. Причем стенд вариативный, с разными движками контейнеризации, и вариантами запуска как аналог миникуба, так и пяти хостовый вариант с управляющими и рабочими нодами.
Но смущал меня один момент, в статье было описано развёртывание со многими снапшотами, чтобы можно было вернуться и переиграть по‑новому.
Каждый раз откатываться по нескольким машинам мне не хотелось. А развернуть хотелось.
Решение пришло быстро. Ansible. Можно раскатываться и перераскатываться относительно быстро. В любой момент можно удалить стенд и начать заново.
До этого не работал с ansible, поэтому это так же показалось мне вполне неплохой практикой.
Возможно решение не самое правильное, надеюсь люди в комментариях меня поправят или подскажут более удачные варианты решений. Но пока представляю на суд то что получилось в итоге.
Я знаю что существуют готовые варианты типа kubespray, но тут больше хотелось поработать именно с ansible, так что я решил не упускать возможности. В любом случае не ошибается тот, кто ничего не делает, так что лучше я допущу десяток ошибок новичка, на которые мне может даже укажут, чем вообще не попробую.
Итак, с чего начать?
Во‑первых надо было выбрать виртуализацию. KVM показался мне нормальным решением, он можно сказать родной для linux, есть возможность рулить из командной строки.
Я не буду описывать как настраивать KVM на машине и устанавливать ansible, статья не об этом. Предположим что у вас уже всё установлено.
Как я уже написал, опыта с ansible у меня не много, но даже с ним я понимаю что писать одну большую простыню кода не особо удобно, а отлаживать и того хуже. Было решено разбить её на несколько простыней поменьше посредством ролей.
В целом если прочитать оригинальную статью то можно выделить 3 этапа:
Подготовка виртуальных машин
Установка движка контейнеризации
Установка all_in_one/ha_cluster
Исходя из этого будем готовить 4 роли со своими тасками.
vm_provision
driver_provision
k8s_all_in_one
k8s_ha_cluster
Создаём каталог, у меня он называется kvmlab, и в нем файл setup_k8s.yaml
Это будет главный playbook, из него будут подтягиваться остальные по мере необходимости. Tак же нам понадобится inventory и файл с переменными которыми мы будем управлять развёртыванием. Ну и конечно же роли.
В каталоге выполним, для создания ролей.
ansible-galaxy role init vm_provision
ansible-galaxy role init driver_provision
ansible-galaxy role init k8s_ha_cluster
ansible-galaxy role init k8s_all_in_oneФайл inventory описывает наши ansible_host для подключения:
all:
children:
management:
hosts:
node1:
ansible_host: 172.30.0.201
node2:
ansible_host: 172.30.0.202
node3:
ansible_host: 172.30.0.203
workers:
hosts:
node4:
ansible_host: 172.30.0.204
node5:
ansible_host: 172.30.0.205my_vars.yml как видно из названия описывает переменные, параметры развертывания, параметры виртуальных машин, каталоги хранения iso и дисков VM:
variant: all-in-one #[all-in-one, ha-cluster]
engine: cri-o #[container-d, cri-o, docker]
libvirt_pool_dir: "/home/alex/myStorage/storage_for_VMss"
libvirt_pool_images: "/home/alex/myStorage/iso_imagess"
vm_net: k8s_net
ssh_key: "/home/alex/.ssh/id_rsa.pub"
ansible_ssh_common_args: "-o StrictHostKeyChecking=no"
version: "1.26"
os: "Debian_11"
vm_info:
vm_names:
- name: node1
memory: 2048
cpu: 2
ipaddr: 172.30.0.201
- name: node2
memory: 2048
cpu: 2
ipaddr: 172.30.0.202
- name: node3
memory: 2048
cpu: 2
ipaddr: 172.30.0.203
- name: node4
memory: 3072
cpu: 4
ipaddr: 172.30.0.204
- name: node5
memory: 3072
cpu: 4
ipaddr: 172.30.0.205Рассмотрим переменные чуть подробнее:
variant — это наш вариант установки будем ли мы устанавливать кластер или ограничимся одной машиной и сделаем аналог minikube.
engine — собственно движок контейнеризации
libvirt_pool_dir и libvirt_pool_images каталоги хранения дисков виртуальных машин и скачанных образов соответственно.
vm_net — имя создаваемой сети для ваших машин.
ssh_key — ваш публичный ключ, подкидывается на ВМ в процессе подготовки и дальнейшие действия выполняются вашим логином из под root.
ansible_ssh_common_args — отключение проверки хеша ключа.
Теперь вернемся к setup_k8s.yaml:
Первый play выполняется на localhost, требует повышенных прав и состоит из 6 task:
Подготовка окружения — на этом этапе мы устанавливаем необходимые пакеты для управления libvirt.
Настройка сети — машины будут использовать свою сеть, но её надо предварительно создать.
Подготовка шаблона для ВМ — все машины будут с одинаковой OS, в моём случае с debian 11, у них будет одинаковый набор начальных пакетов. Каждый раз разворачивать с нуля долго, поэтому надо подготовить шаблон VM и переиспользовать его при необходимости.
Создание ВМ нод из шаблонного образа. Создание нужного количества VM для развертывания.
Перезагрузка созданных машин.
Создание снапшота. Эта таска опциональна, при дальнейшем развёртывании часто случались ошибки и надо было начинать сначала, снапшот решал эту проблему. в целом сейчас он уже не нужен, но я оставил. Для подготовки будем использовать роль vm_provision о ней чуть позже, а сейчас посмотрим на то что получилось:
kvmlab/setup_k8s.yaml:
---
- name: Подготовка ВМ к развёртыванию k8s
hosts: localhost
gather_facts: yes
become: yes
tasks:
- name: Подготовка окружения
package:
name:
- libguestfs-tools
- python3-libvirt
state: present
- name: Настройка сети
include_role:
name: vm_provision
tasks_from: create_network.yml
- name: Подготовка шаблона для ВМ
include_role:
name: vm_provision
tasks_from: prepare_images_for_cluster.yml
- name: Создание ВМ нод из шаблонного образа.
include_role:
name: vm_provision
tasks_from: create_nodes.yml
vars:
vm_name: "{{ item.name }}"
vm_vcpus: "{{ item.cpu }}"
vm_ram_mb: "{{ item.memory }}"
ipaddr: "{{ item.ipaddr }}"
with_items: "{{ vm_info.vm_names }}"
when: variant == 'ha-cluster' or (variant == 'all-in-one' and item.name == 'node1')
- name: Ожидание загрузки всех ВМ из списка
wait_for:
host: "{{ hostvars[item].ansible_host }}"
port: 22
timeout: 300
state: started
when: variant == 'ha-cluster' or item == 'node1'
with_items: "{{ groups['all'] }}"
- name: Создаем снимок host_provision
include_role:
name: vm_provision
tasks_from: create_snapshot.yml
vars:
vm_name: "{{ item.name }}"
snapshot_name: "host_provision"
snapshot_description: "Нода подготовлена к установке движка"
when: variant == 'ha-cluster' or item.name == 'node1'
with_items: "{{ vm_info.vm_names }}"Визуально не много, давай разберём что скрывается под include_role.
А под ролью у нас скрывается:
Дефолтные настройки на случай если какие то переменные не заполнены, по иерархии если не ошибаюсь стоят в самом низу, т.е. если эти переменные прилетят откуда от еще, их приоритет будет выше:
kvmlab/roles/vm_provision/defaults/main.yml:
---
# defaults file for vm_provision
base_image_name: debian-11-generic-amd64-20230124-1270.qcow2
base_image_url: https://cdimage.debian.org/cdimage/cloud/bullseye/20230124-1270/{{ base_image_name }}
base_image_sha: 8db9abe8e68349081cc1942a4961e12fb7f94f460ff170c4bdd590a9203fbf83
libvirt_pool_dir: "/var/lib/libvirt/images"
libvirt_pool_images: "/var/lib/libvirt/images"
vm_vcpus: 2
vm_ram_mb: 2048
vm_net: vmnet
vm_root_pass: test123
ssh_key: /root/.ssh/id_rsa.pub2 шаблона:
roles/vm_provision/templates/
vm-template.xml.j2 — Шаблон по которому создается виртуальная машина в xml формате. при создании параметры заполняются из заданных переменных.
vm_network.xml.j2 — Шаблон для создания сети которую будут использовать VM.
Я не буду их приводить, вы сможете забрать их в репозитории.
Ну и наконец roles/vm_provision/tasks/
create_network.yml — набор задач для создания сети
create_nodes.yml — набор задач для создания нод
create_snapshot.yml — создание снапшотов
prepare_images_for_cluster.yml — подготовка шаблона
Начнем с подготовки шаблона:
состоит из 4 задач:
Создание каталога для хранения исходного образа (если конечно он не существует).
Скачивание и проверка базового образа. Каждый раз качать его нет смысла, поэтому скачивается один раз, при повторном запуске, если файл уже лежит на месте эта часть скипается.
Базовый образ уже можно подключить к ВМ и работать с ним, однако тогда он перестанет быть базовым, а уже будет кастомизированным. Оставим его как есть, но скопируем его как шаблон для ВМ.
первичная настройка шаблона. Часть библиотек и ПО для любого варианта развертывания будет одна и та же. Поэтому проще накатить их сразу в шаблон. Так же заполним hosts, по-хорошему его бы заполнять динамически в зависимости от количества нод, но я прописал 5 штук сразу. Сильно не мешает.
kvmlab/roles/vm_provision/tasks/prepare_images_for_cluster.yml:
---
# tasks file vm_provision, создание шаблона ВМ
- name: Создание каталога {{ libvirt_pool_images }} если не существует.
file:
path: "{{ libvirt_pool_images }}"
state: directory
mode: 0755
- name: Скачивание базового образа если его нет в хранилище
get_url:
url: "{{ base_image_url }}"
dest: "{{ libvirt_pool_images }}/{{ base_image_name }}"
checksum: "sha256:{{ base_image_sha }}"
- name: Создание копии базового образа, для шаблона
copy:
dest: "{{ libvirt_pool_images }}/template_with_common_settings.qcow2"
src: "{{ libvirt_pool_images }}/{{ base_image_name }}"
force: no
remote_src: yes
mode: 0660
register: copy_results
- name: Первичная настройка шаблона.
command: |
virt-customize -a {{ libvirt_pool_images }}/template_with_common_settings.qcow2 \
--root-password password:{{ vm_root_pass }} \
--ssh-inject 'root:file:{{ ssh_key }}' \
--uninstall cloud-init \
--run-command 'apt update && apt install -y ntpdate gnupg gnupg2 curl software-properties-common wget keepalived haproxy' \
--append-line '/etc/hosts:172.30.0.201 node1.internal node1\n172.30.0.202 node2.internal node2\n172.30.0.203 node3.internal node3\n172.30.0.204 node4.internal node4\n172.30.0.205 node5.internal node5' \
--run-command 'curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | gpg --dearmour -o /etc/apt/trusted.gpg.d/cgoogle.gpg' \
--run-command 'apt-add-repository "deb http://apt.kubernetes.io/ kubernetes-xenial main"' \
--run-command 'apt update && apt install -y kubeadm kubectl' \
--run-command 'echo 'overlay' > /etc/modules-load.d/k8s.conf && echo 'br_netfilter' >> /etc/modules-load.d/k8s.conf' \
--run-command 'echo -e "net.bridge.bridge-nf-call-ip6tables = 1\nnet.bridge.bridge-nf-call-iptables = 1\nnet.ipv4.ip_forward = 1" > /etc/sysctl.d/10-k8s.conf'
when: copy_results is changedОтлично, шаблон готов. далее на очереди создание сети, ибо сеть используется в шаблоне создания ВМ, и если её не будет, то чуда не случится.
Тут все просто, используя virsh мы проверяем создавалась ли сеть ранее. если да, то скипаем, если же нет, то используя шаблон в который будет подставлено имя сети из переменных средствами всё той же virsh будет создана, запущена и выставлена в автозапуск сеть.
kvmlab/roles/vm_provision/tasks/create_network.yml:
---
# tasks file for vm_provision, пересоздание сети
- name: Получение списка сетей KVM
command: virsh net-list --all
register: net_list_output
- name: Проверка наличия сети {{ vm_net }}
shell: echo "{{ net_list_output.stdout }}" | grep -w "{{ vm_net }}"
register: network_check
ignore_errors: true
- name: Создание и настройка сети {{ vm_net }}
block:
- name: Копирование шаблона сети
template:
src: vm_network.xml.j2
dest: /tmp/vm_network.xml
- name: Создание сети {{ vm_net }}
command: virsh net-define /tmp/vm_network.xml
- name: Запуск сети {{ vm_net }}
command: virsh net-start {{ vm_net }}
- name: Автостарт сети {{ vm_net }}
command: virsh net-autostart {{ vm_net }}
when: network_check.rc != 0Так. Шаблон ВМ есть, сеть есть. Ничего не мешает нам создать ноду или ноды:
Создание нод запускается циклом по переменным. (vm_info.vm_names)
ноды создаются по одной и проходят следующие этапы:
Опять же создается каталог для хранения дисков виртуальных машин, если он не существует.
Каждая машина перед созданием проверяется на наличие её в уже существующих, если она есть, то создание пропускается, так что если у вас осталась машина с прошлого стенда то лучше её пересоздать.
Копируется шаблонный образ диска и переименовывается в соответствии с именем ВМ.
Изменяется размер диска, расширяется до 10 GB, этого объема мне хватило для установки всех вариантов. Значение захардкожено, но при желании его можно так же параметризовать.
Начальное конфигурирование ноды. Тут у нод появляется индивидуальность, имя, ip и свой ssh ключ.
Когда все составные части готовы, создается машина из шаблона xml.
Запуск ВМ.
kvmlab/roles/vm_provision/tasks/create_nodes.yml:
---
# tasks file for vm_provision, создание нод
- name: Создание каталога {{ libvirt_pool_dir }} если не существует.
file:
path: "{{ libvirt_pool_dir }}"
state: directory
mode: 0755
- name: Получаем список существующих ВМ
community.libvirt.virt:
command: list_vms
register: existing_vms
changed_when: no
- name: Создание ВМ если её имени нет в списке
block:
- name: Копирование шаблонного образа в хранилище
copy:
dest: "{{ libvirt_pool_dir }}/{{ vm_name }}.qcow2"
src: "{{ libvirt_pool_images }}/template_with_common_settings.qcow2"
force: no
remote_src: yes
mode: 0660
register: copy_results
- name: Изменение размера виртуального диска
shell: "qemu-img resize {{ libvirt_pool_dir }}/{{ vm_name }}.qcow2 10G"
- name: Начальное конфигурирование hostname:{{ vm_name }}, ip:{{ ipaddr }}
command: |
virt-customize -a {{ libvirt_pool_dir }}/{{ vm_name }}.qcow2 \
--hostname {{ vm_name }}.internal \
--run-command 'echo "source /etc/network/interfaces.d/*\nauto lo\niface lo inet loopback\nauto enp1s0\niface enp1s0 inet static\naddress {{ ipaddr }}\nnetmask 255.255.255.0\ngateway 172.30.0.1\ndns-nameservers 172.30.0.1" > /etc/network/interfaces'
--run-command 'ssh-keygen -A'
when: copy_results is changed
- name: Создание ВМ из шаблона
community.libvirt.virt:
command: define
xml: "{{ lookup('template', 'vm-template.xml.j2') }}"
when: "vm_name not in existing_vms.list_vms"
- name: Включение ВМ
community.libvirt.virt:
name: "{{ vm_name }}"
state: running
register: vm_start_results
until: "vm_start_results is success"
retries: 15
delay: 2Отлично, машины созданы. теперь перезагрузим их, дождемся пока все загрузятся и сделаем снапшоты.
kvmlab/roles/vm_provision/tasks/create_snapshot.yml:
---
# tasks file for vm_provision, создание снапшотов
- name: Создание снапшота {{ snapshot_name }}
shell: "virsh snapshot-create-as --domain {{ vm_name }} --name {{ snapshot_name }} --description '{{ snapshot_description }}'"
register: snapshot_create_status
ignore_errors: trueЕсли ничего не забыл, то первый этап выполнен.
У вас есть одна или пять нод, все готовы к дальнейшей работе.
Причем если удалить все ВМ и запустить создание повторно, то из за наличия готового шаблона процесс пройдёт гораздо быстрее.
Отлично. переходим к установке движка:
вернемся в setup_k8s.yaml и добавим следующий play:
- name: Установка движка контейнеризации [cri-o, container-d, docker]
hosts: all
gather_facts: true
become: true
remote_user: root
tasks:
- name: Синхронизация даты/времени с NTP сервером
shell: ntpdate 0.europe.pool.ntp.org
- name: Установка cri-o
include_role:
name: driver_provision
tasks_from: install_crio.yml
when: engine == "cri-o"
- name: Установка container-d
include_role:
name: driver_provision
tasks_from: install_container_d.yml
when: engine == "container-d"
- name: Установка docker cri
include_role:
name: driver_provision
tasks_from: install_docker_cri.yml
when: engine == "docker"В целом всё просто, используем роль driver_provision, но в зависимости от установленных параметров запускаем одну из трех последовательностей.
Вся последовательность действий для каждого из движков была взята из статьи указанной вначале.
Я не буду подробно комментировать таски, в целом их имена отражают суть всех действий.
приведём все три варианта:
kvmlab/roles/driver_provision/tasks/install_container_d.yml:
---
# tasks file for driver_provision, установка container-d
- name: Скачиваем containerd
get_url:
url: "https://github.com/containerd/containerd/releases/download/v1.7.0/containerd-1.7.0-linux-amd64.tar.gz"
dest: "/tmp/containerd-1.7.0-linux-amd64.tar.gz"
- name: Распаковываем архив
unarchive:
src: /tmp/containerd-1.7.0-linux-amd64.tar.gz
dest: /usr/local
copy: no
- name: Удаляем скачаный архив за ненадобностю
file:
path: "/tmp/containerd-1.7.0-linux-amd64.tar.gz"
state: absent
- name: Создание директории для конфигурации containerd
file:
path: /etc/containerd/
state: directory
- name: Проверяем создан ли каталог
stat:
path: /etc/containerd
register: containerd_dir
- name: Создание конфиг файла containerd
become: true
command: "sh -c 'containerd config default > /etc/containerd/config.toml'"
when: containerd_dir.stat.exists
- name: конфигурирование cgroup driver
replace:
path: "/etc/containerd/config.toml"
regexp: "SystemdCgroup = false"
replace: "SystemdCgroup = true"
- name: Скачиваем containerd systemd service file
get_url:
url: "https://raw.githubusercontent.com/containerd/containerd/main/containerd.service"
dest: "/etc/systemd/system/containerd.service"
- name: Скачиваем и устанавливаем runc
get_url:
url: "https://github.com/opencontainers/runc/releases/download/v1.1.4/runc.amd64"
dest: "/usr/local/sbin/runc"
mode: "u+x"
- name: Скачиваем CNI plugins
get_url:
url: "https://github.com/containernetworking/plugins/releases/download/v1.2.0/cni-plugins-linux-amd64-v1.2.0.tgz"
dest: "/tmp/cni-plugins-linux-amd64-v1.2.0.tgz"
- name: Распаковываем CNI plugins archive
unarchive:
src: "/tmp/cni-plugins-linux-amd64-v1.2.0.tgz"
dest: "/opt/cni/bin"
copy: no
- name: Удаляем CNI plugins archive
file:
path: "/tmp/cni-plugins-linux-amd64-v1.2.0.tgz"
state: absent
- name: Перезагрузка systemd
systemd:
daemon_reload: yes
- name: Запуск и активация containerd service
systemd:
name: containerd
state: started
enabled: yeskvmlab/roles/driver_provision/tasks/install_crio.yml:
---
# tasks file for driver_provision, установка cri-o
- name: Установка ключа репозитория cri-o
apt_key:
url: https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable:/cri-o:/{{ version }}/{{ os }}/Release.key
state: present
- name: Установка репозитория cri-o
apt_repository:
repo: 'deb https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable/{{ os }}/ /'
filename: devel:kubic:libcontainers:stable.list
- name: Установка репозитория cri-ostable/cri-o
apt_repository:
repo: 'deb http://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable:/cri-o:/{{ version }}/{{ os }}/ /'
filename: 'devel:kubic:libcontainers:stable:cri-o:{{ version }}.list'
- name: Установка cri-o
apt:
name: ['cri-o', 'cri-o-runc']
state: latest
- name: Создание каталога /var/lib/crio
file:
path: /var/lib/crio
state: directory
- name: Перезагрузка systemd
systemd:
daemon_reload: yes
- name: запуск служб crio
systemd:
name: crio
enabled: yes
state: startedkvmlab/roles/driver_provision/tasks/install_docker_cri.yml:
---
# tasks file for driver_provision, установка docker + cri
- name: Create directory /etc/apt/keyrings
file:
path: /etc/apt/keyrings
state: directory
mode: '0755'
- name: Add GPG key Docker
ansible.builtin.shell: curl -fsSL https://download.docker.com/linux/debian/gpg | gpg --dearmor -o /etc/apt/trusted.gpg.d/docker.gpg --yes
- name: Get dpkg architecture
shell: "dpkg --print-architecture"
register: architecture
- name: Get lsb release
shell: "lsb_release -cs"
register: release_output
- name: Add Docker repository
apt_repository:
repo: "deb [arch={{ architecture.stdout_lines | join }} signed-by=/etc/apt/trusted.gpg.d/docker.gpg] https://download.docker.com/linux/debian {{ release_output.stdout_lines | join }} stable"
state: present
register: docker_repo
- name: Apt Update
ansible.builtin.apt:
update_cache: yes
- name: Install Docker
apt:
name:
- docker-ce
- docker-ce-cli
- containerd.io
- docker-compose-plugin
state: present
- name: Download plugin cri-dockerd
get_url:
url: "https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.1/cri-dockerd-0.3.1.amd64.tgz"
dest: "/tmp/cri-dockerd.tgz"
- name: Unpack cri-dockerd
unarchive:
src: "/tmp/cri-dockerd.tgz"
dest: "/tmp/"
copy: no
- name: Copy unpacked bin cri-dockerd
copy:
dest: "/usr/local/bin/"
src: "/tmp/cri-dockerd/cri-dockerd"
force: no
remote_src: yes
mode: 0660
register: copy_results
- name: change alc on cri-dockerd
file:
path: "/usr/local/bin/cri-dockerd"
mode: "0755"
- name: Download config file on cri-dockerd.service
get_url:
url: "https://raw.githubusercontent.com/Mirantis/cri-dockerd/master/packaging/systemd/cri-docker.service"
dest: "/etc/systemd/system/cri-docker.service"
- name: Download config file on cri-dockerd.socket
get_url:
url: "https://raw.githubusercontent.com/Mirantis/cri-dockerd/master/packaging/systemd/cri-docker.socket"
dest: "/etc/systemd/system/cri-docker.socket"
- name: Update cri-docker.service
ansible.builtin.shell: "sed -i -e 's,/usr/bin/cri-dockerd,/usr/local/bin/cri-dockerd,' /etc/systemd/system/cri-docker.service"
- name: daemon reload
systemd:
daemon_reload: yes
- name: enable cri-docker.service
systemd:
name: cri-docker.service
enabled: yes
state: started
- name: enable cri-dockerd.socket
systemd:
name: cri-docker.socket
enabled: yes
state: startedТак, готово. после этапа установки движка идёт еще один play для localhost для создания снапшота.
- name: Создаем снапшот driver_provision
hosts: localhost
become: yes
tasks:
- name: Создаем снимки
include_role:
name: vm_provision
tasks_from: create_snapshot.yml
vars:
vm_name: "{{ item.name }}"
snapshot_name: "driver_provision"
snapshot_description: "Движок установлен, нода подготовлена к инициализации k8s"
when: variant == 'ha-cluster' or item.name == 'node1'
with_items: "{{ vm_info.vm_names }}"В целом так же опциональный, можно удалить.
Bтак, осталось самое важное, ради чего всё это начиналось.
Инициализация кубера!
возвращаемся в setup_k8s.yaml и дописываем следующий play.
- name: Настройка kubernetes [all-in-one либо ha-cluster]
hosts: all
gather_facts: true
become: true
remote_user: root
tasks:
- name: Установка all-in-one
include_role:
name: k8s_all_in_one
tasks_from: all_in_one.yml
when: variant == "all-in-one" and inventory_hostname == 'node1'
- name: Подготовка нод для ha-cluster
include_role:
name: k8s_ha_cluster
tasks_from: ha_cluster_prepare_managers.yml
when: variant == "ha-cluster"
- name: Установка первой ноды
include_role:
name: k8s_ha_cluster
tasks_from: ha_cluster_first_node.yml
when: variant == "ha-cluster" and inventory_hostname == 'node1' and inventory_hostname in groups['management']
register: first_node_result
- name: Передача команд на остальные ноды
set_fact:
control_plane_join_command: "{{ hostvars['node1']['control_plane_join_command'] }}"
worker_join_command: "{{ hostvars['node1']['worker_join_command'] }}"
when: variant == "ha-cluster" and inventory_hostname != 'node1'
- name: вывод команд подключения
debug:
msg: |
control_plane_join_command: {{ control_plane_join_command }}
worker_join_command: {{ worker_join_command }}
when: variant == "ha-cluster" and inventory_hostname == 'node1'
- name: Использование команды control_plane_join_command
block:
- name: Подключение управляющих нод для ['container-d', 'cri-o']
ansible.builtin.shell:
cmd: "{{ control_plane_join_command }}"
until: result.rc == 0
register: result
retries: 5
delay: 30
when: engine in ['container-d', 'cri-o']
- name: Подключение управляющих нод для docker
ansible.builtin.shell:
cmd: "{{ control_plane_join_command }} --cri-socket unix:///var/run/cri-dockerd.sock"
until: result.rc == 0
register: result
retries: 5
delay: 30
when: engine == 'docker'
when: variant == "ha-cluster" and inventory_hostname != 'node1' and inventory_hostname in groups['management']
- name: Использование команды worker_join_command
block:
- name: Подключение рабочих нод для ['container-d', 'cri-o']
ansible.builtin.shell:
cmd: "{{ worker_join_command }}"
until: result.rc == 0
register: result
retries: 5
delay: 30
when: engine in ['container-d', 'cri-o']
- name: Подключение рабочих нод для docker
ansible.builtin.shell:
cmd: "{{ worker_join_command }} --cri-socket unix:///var/run/cri-dockerd.sock"
until: result.rc == 0
register: result
retries: 5
delay: 30
when: engine == 'docker'
when: variant == "ha-cluster" and inventory_hostname != 'node1' and inventory_hostname in groups['workers']
- name: Скачивание конфига с первой ноды (подходит для обоих вариантов all-in-one и ha-cluster)
ansible.builtin.fetch:
src: /etc/kubernetes/admin.conf
dest: /tmp/
flat: yes
force: yes
when: inventory_hostname == 'node1'
- name: Перезагрузка всех машин
ansible.builtin.reboot:
reboot_timeout: 300Тут для установки используются две роли (можно было и одной обойтись, но так нагляднее).
Начнем пожалуй с all‑in‑one варианта установки, он самый простой:
roles/k8s_all_in_one/tasks/all_in_one.yml:
---
- name: Проверка наличия файла конфига
stat:
path: /etc/kubernetes/admin.conf
register: file_info
- name: Инициализация кластера если конфиг не обнаружен.
block:
- name: Инициализация кластера для движков ['container-d', 'cri-o']
shell: kubeadm init --pod-network-cidr=10.244.0.0/16
when: engine in ['container-d', 'cri-o']
register: kubeadm_output
- name: Инициализация кластера для движка docker
shell: |
kubeadm init \
--pod-network-cidr=10.244.0.0/16 \
--cri-socket unix:///var/run/cri-dockerd.sock
when: engine == 'docker'
register: kubeadm_output
- name: Установка KUBECONFIG в enviroment
become: true
lineinfile:
dest: /etc/environment
line: 'export KUBECONFIG=/etc/kubernetes/admin.conf'
- name: Установка KUBECONFIG в bashrc
become: true
lineinfile:
dest: '~/.bashrc'
line: 'export KUBECONFIG=/etc/kubernetes/admin.conf'
- name: Подождем пока всё запустится
wait_for:
host: localhost
port: 6443
timeout: 300
- name: Установка сетевого плагина Flannel
shell: kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
- name: Снятие ограничения на запуск рабочих нагрузок c {{ ansible_hostname }}
shell: "kubectl taint nodes --all node-role.kubernetes.io/control-plane-"
become:roles/k8s_all_in_one/tasks/all_in_one.yml: true
register: taint_result
failed_when:
- "'error: taint \"node-role.kubernetes.io/control-plane\" not found' not in taint_result.stderr"
- "'node/' + ansible_hostname + '.internal untainted' not in taint_result.stdout"
when: not file_info.stat.exists
- name: Проверка инициализации
shell: "export KUBECONFIG=/etc/kubernetes/admin.conf && kubectl get nodes"
register: kubectl_output
ignore_errors: true
- name: Инициализация завершена.
debug:
msg: 'Инициализация завершена! выполните комманду export KUBECONFIG=/etc/kubernetes/admin.conf, проверьте вывод команды kubectl get nodes'
when: kubectl_output.rc == 0Что в нем происходит.
Проверяем есть ли файл конфига. логика проста, если файл есть то с большой долей вероятности инициализация уже была и отчасти успешна. в этом случае если не работает, то лучше убить ноду и собрать заново.
Если же файла нет, то в зависимости от движка идёт команда инициализации (для докера она идёт с доп параметрами).
Устанавливается сетевой плагин, снимаются ограничения и проверяется установка.
Всё, стенд готов.
Теперь давай пробежимся по ha_cluster.
Тут всё немного сложнее.
Первое что надо сделать это подготовить ноды, а именно настроить keepalived и haproxy, для обеспечения отказоустойчивости и балансировки нагрузки.
roles/k8s_ha_cluster/tasks/ha_cluster_prepare_managers.yml
- name: Синхронизация даты/времени с NTP сервером
shell: ntpdate 0.europe.pool.ntp.org
- name: Копируем настройку демона keepalived
template:
src: templates/keepalived.conf.j2
dest: /etc/keepalived/keepalived.conf
mode: '0644'
- name: Копируем скрипт check_apiserver.sh, предназначенный для проверки доступности серверов.
template:
src: templates/check_apiserver.sh.j2
dest: /etc/keepalived/check_apiserver.sh
mode: '0755'
- name: запуск службы keepalived
systemd:
name: keepalived
enabled: yes
state: restarted
- name: Копируем настройку демона haproxy
template:
src: templates/haproxy.cfg.j2
dest: /etc/haproxy/haproxy.cfg
mode: '0644'
- name: запуск службы haproxy
systemd:
name: haproxy
enabled: yes
state: restartedВторым шагом удет установка первой ноды. важный процесс, ибо после инициализации кубера он выдает команды для добавления новых хостов, которые нам надо будет передать на выполнение следующим нодам.
В целом суть та же, проверяем конфиг, если его нет, то делаем инициализацию. для docker команда чуть побольше.
После инициализации фильтруем вывод регуляркой и сохраняем для передачи остальным нодам. экспортируем конфиг, устанавливаем сетевой плагин и идём дальше.
ha_cluster_first_node.yml:
- name: Проверка наличия файла конфига
stat:
path: /etc/kubernetes/admin.conf
register: file_info
- name: Инициализация кластера если конфиг не обнаружен.
block:
- name: Инициализация кластера для движков ['container-d', 'cri-o']
shell: |
kubeadm init \
--pod-network-cidr=10.244.0.0/16 \
--control-plane-endpoint "172.30.0.210:8888" \
--upload-certs
register: init_output_containerd_crio
when: engine in ['container-d', 'cri-o']
- name: Инициализация кластера для движка ['docker']
shell: |
kubeadm init \
--cri-socket unix:///var/run/cri-dockerd.sock \
--pod-network-cidr=10.244.0.0/16 \
--control-plane-endpoint "172.30.0.210:8888" \
--upload-certs
register: init_output_docker
when: engine == 'docker'
- name: Сохранение значения init_output для дальнейшего использования
set_fact:
init_output: "{{ init_output_containerd_crio if init_output_containerd_crio is defined and init_output_containerd_crio.stdout is defined else init_output_docker }}"
- name: Фильтрация вывода kubeadm init
set_fact:
filtered_output: "{{ init_output.stdout | regex_replace('(\\n|\\t|\\\\n|\\\\)', ' ') }}"
- name: Фильтр комманд для добавления управляющих и рабочих нод
set_fact:
control_plane_join_command: "{{ filtered_output | regex_search('kubeadm join(.*?--discovery-token-ca-cert-hash\\s+sha256:[\\w:]+.*?--control-plane.*?--certificate-key.*?[\\w:]+)')}}"
worker_join_command: "{{ filtered_output | regex_search('kubeadm join(.*?--discovery-token-ca-cert-hash\\s+sha256:[\\w:]+)')}}"
- name: Установка KUBECONFIG в enviroment
lineinfile:
dest: /etc/environment
line: 'export KUBECONFIG=/etc/kubernetes/admin.conf'
- name: Установка KUBECONFIG в bashrc
lineinfile:
dest: '~/.bashrc'
line: 'export KUBECONFIG=/etc/kubernetes/admin.conf'
- name: Подождем пока всё запустится
wait_for:
host: localhost
port: 6443
timeout: 300
- name: Установка сетевого плагина Flannel
shell: kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
when: not file_info.stat.existsПосле успешной инициализации кластера и получения команд для добавления нод, мы используем эти команды чтобы добавить управляющие и рабочие ноды.
И снова ветвление ибо у докера есть доп параметры при установке.
Есть нюанс, управляющие ноды иногда по неизвестной мне причине не добавлялись. при этом при повторном запуске команды всё проходило нормально. Поэтому я добавил 5 попыток подключения. обычно хватает двух.
С воркерами такого не наблюдалось, однако я всё равно добавил те же 5 попыток.
Воркер или управляющая нода определяется из группы в inventory.
Готово, перезагружаем все машины и ждем загрузки.
Последний play скопирует конфиг с первой ноды на вашу локальную машину. чтобы можно было управлять кластером непосредственно с хоста. он так же опционален, можно просто зайти на первую ноду и запускать деплои оттуда.
- name: Настройка хостовой машины, чтобы не лазить постоянно на виртуальные.
hosts: localhost
gather_facts: false
tasks:
- name: Переместить файл
ansible.builtin.file:
src: /tmp/admin.conf
dest: /etc/kubernetes/admin.conf
state: link
force: yes
become: true
- name: Установка KUBECONFIG в enviroment
lineinfile:
dest: /etc/environment
line: 'export KUBECONFIG=/etc/kubernetes/admin.conf'
- name: Установка KUBECONFIG в bashrc
lineinfile:
dest: '~/.bashrc'
line: 'export KUBECONFIG=/etc/kubernetes/admin.conf'Бонусом идёт удаление стенда. раз он быстро создаётся то должен быстро и исчезать.
Удаляются только ВМ их диски и снапшоты, шаблоны и образы остаются в каталогах хранения.
remove_stand.yml:
---
- name: Удаление стенда kubernetes
hosts: localhost
become: trueс
vars_files:
- my_vars.yml
tasks:
- name: Получаем список существующих ВМ
community.libvirt.virt:
command: list_vms
register: existing_vms
changed_when: no
- name: Удаление машин
block:
- name: Полностью останавливаем ВМ
community.libvirt.virt:
command: destroy
name: "{{ item.name }}"
loop: "{{ vm_info.vm_names }}"
when: "item.name in existing_vms.list_vms"
ignore_errors: true
- name: Удаляем снапшоты
shell: |
virsh snapshot-delete --domain {{ item.name }} --snapshotname host_provision
virsh snapshot-delete --domain {{ item.name }} --snapshotname driver_provision
ignore_errors: true
loop: "{{ vm_info.vm_names }}"
when: "item.name in existing_vms.list_vms"
- name: Отменяем регистрацию ВМ
community.libvirt.virt:
command: undefine
name: "{{ item.name }}"
loop: "{{ vm_info.vm_names }}"
when: "item.name in existing_vms.list_vms"
- name: Удаление диска виртуальной машины
ansible.builtin.file:
path: "{{libvirt_pool_dir}}/{{ item.name }}.qcow2"
state: absent
loop: "{{ vm_info.vm_names }}"
when: "item.name in existing_vms.list_vms"В целом всё готово. можно запускать.
Установка стенда:
ansible-playbook -K ./setup_k8s.yaml -i ./inventory --extra-vars "@my_vars.yml"Удаление стенда:
ansible-playbook -K ./remove_stand.ymlВ общем и целом я просто перенёс готовый гайд на рельсы автоматизации, отсебятины я добавил по минимуму. где то иначе добавляются репозитории и ключи, где то запускаю синхронизацию времени, из за того что при восстановлении со снапшота у меня начинались проблемы с ключами из за неверной текущей даты.
Добавляю ссылку на репозиторий со всем этим добром.
В решении я попробовал много различных элементов управления ansible, создание каталогов, циклы, ветвления, установки и прочие кирпичи из которых вырастает система.
Буду рад если вы подскажете какие решения были удачными, а какие не очень. эта информация будет очень полезна для меня.
Спасибо что осилили и прочли до конца!)
Отдельное спасибо @imbasoft за отличную и понятную статью.
