[Из песочницы] Собираем свой OpenShift Origin Cluster17.03.2017 19:34

Приступим:

Подготовка окружения

На момент установки этого кластера я использовал:

• Три полноценных ВМ для самого кластера (CentOS 7.2);
• Одна ВМ с каталогом пользователей и DNS-сервером (Windows Server 2012);
• Одна ВМ с NFS-сервером для централизованного хранения данных (CentOS 7.2);
• ВМ с Ansible на борту.

Добавим записи типа «А» для всех хостов нашего кластера и выделим поддомен apps.habra.cloud для будущих сервисов в нашем облаке.

После добавления получим картину вида:

Name	                  Type	                      Data                       apps		
(same as parent folder)	  Start of Authority (SOA)   [16], dc-infra.habra.cloud,
(same as parent folder)	  Name Server (NS)	     172.28.246.50.
ansible	                  Host (A)	             172.28.247.200
master	                  Host (A)	             172.28.247.211
nfs	                  Host (A)	             172.28.247.51
node01	                  Host (A)	             172.28.247.212
node02	                  Host (A)	             172.28.247.213

Name	Type	 Data	        Timestamp
*	Host (A) 172.28.247.211	static

Надолго останавливаться на этом не будем, т.к. информации по этому поводу вагон и маленькая тележка. Заострю внимание лишь на нескольких моментах:

• Во-первых, все настройки следует выполнять через NetworkManager, т.к. иначе Ansible проигнорирует ваши настройки DNS и специфичных маршрутов, если они есть.
• Во-вторых, нужно обязательно указать ваш DNS-сервер в качестве primary DNS server, при этом ваши хосты должны отвечать на полные DNS-имена, указанные на DNS-сервере. Например, для мастер-ноды OpenShift вывод должен быть таким:

root@master# hostname
master.habra.cloud

• В-третьих — в качестве search-доменов вы должны указать еще несколько, чтобы не было проблем с разрешением имен между подами и контейнерами. Для понимания, приведу часть моего файла /etc/resolv.conf:

root@OpenShiftCluster# cat /etc/resolv.conf
# Generated by NetworkManager
search habra.cloud default.svc.cluster.local svc.cluster.local cloud.local default.svc svc local
nameserver 172.28.246.50

root@OpenShiftCluster# yum -y install docker

OPTIONS='--selinux-enabled --insecure-registry 172.30.0.0/16'

Я рекомендую воспользоваться опцией «B», чтобы можно было им управлять с помощью нативного LVM. Также, необходимо учесть, что именно в этот storage OpenShift будет копировать docker-образы из любых docker registry. При этом, OpenShift не удаляет старые и незадействованные docker-образы. Поэтому, я рекомендую делать docker-storage объемом не менее 30–50ГБ на каждой ноде. Остальное — в зависимости от ваших потребностей.

Как это сделал я:

• Разметим fdisk`ом /dev/sdb под формат LVM, затем создадим PV и VG:

root@OpenShiftCluster# fdisk /dev/sdb
n
t
8e
w
root@OpenShiftCluster# pvcreate /dev/sdb1
root@OpenShiftCluster# vgcreate docker-vg /dev/sdb1

• Поправим /etc/sysconfig/docker-storage-setup. Листинг /etc/sysconfig/docker-storage-setup прилагается:

# Edit this file to override any configuration options specified in
# /usr/lib/docker-storage-setup/docker-storage-setup.
#
# For more details refer to "man docker-storage-setup"
VG=docker-vg

• Запустим процедуру создания docker-storage:

root@OpenShiftCluster# docker-storage-setup

• Выполним рекомендации из мануала после создания docker-storage:

root@OpenShiftCluster# systemctl is-active docker

• Если docker еще не был запущен на хосте:

root@OpenShiftCluster# systemctl enable docker
root@OpenShiftCluster# systemctl start docker

• Если Docker уже запущен (процедура уничтожит все контейнеры и образы):

root@OpenShiftCluster# systemctl stop docker
root@OpenShiftCluster# rm -rf /var/lib/docker/*
root@OpenShiftCluster# systemctl restart docker

• Сначала выставим параметр SELINUXTYPE=targeted в файле

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=enforcing
# SELINUXTYPE= can take one of these three values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected.
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

• И, так как подразумевается работа с NFS, выполним пару команд:

root@OpenShiftCluster# setsebool -P virt_use_nfs 1
root@OpenShiftCluster# setsebool -P virt_sandbox_use_nfs 1

• Доустановим оставшиеся необходимые

root@OpenShiftCluster# yum install -y wget git net-tools bind-utils iptables-services bridge-utils bash-completion nfs-utils nfs-utils-lib
root@OpenShiftCluster# yum update
root@OpenShiftCluster# yum -y install \
    https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
root@OpenShiftCluster# sed -i -e "s/^enabled=1/enabled=0/" /etc/yum.repos.d/epel.repo
root@OpenShiftCluster# yum -y --enablerepo=epel install pyOpenSSL

• В моем случае Ansible установлен на отдельном сервере, но если вы хотите, можно его использовать на Master, в таком случае, последняя команда будет выглядеть так:

root@master# yum -y --enablerepo=epel install ansible pyOpenSSL

В данной статье, дабы она не разрослась до огромных размеров, предполагается, что NFS-сервер у вас уже вовсю работает. Если это не так, то вот неплохая статья на эту тему.
Добавлю, что мой NFS-сервер смотрит на каталог /nfs/ и я буду отталкиваться от этого.

• Приготовим папки на NFS сервере для будущего private docker registry:

root@nfs# mkdir -R /nfs/infrastructure/registry
root@nfs# chmod 755 /nfs/infrastructure
root@nfs# chmod 755 /nfs/infrastructure/registry
root@nfs# chown nfsnobody:nfsnobody /nfs/infrastructure
root@nfs# chown nfsnobody:nfsnobody /nfs/infrastructure/registry

• Модифицируем файл /etc/exports — добавляем туда:

/nfs/infrastructure/registry           *(rw,sync,root_squash,no_subtree_check,no_wdelay)

• выполняем:

root@nfs# exportfs -a

Готовим Ansible и его inventory.

Итак, первое — Ansible должен знать наши ВМ по hostname. Значит, либо правим /etc/hosts, либо, что гораздо правильнее, натравливаем нашу ВМ на наш DNS-сервер любым доступным нам способом (в случае использования Master это делать не нужно, так как уже все готово).

Теперь необходимо растиражировать наш публичный SSH-ключ на ноды кластера, чтобы Ansible мог без проблем подключаться к ним.

root@ansible# for host in master.habra.cloud \
    node01.habra.cloud \
    node02.habra.cloud; \
    do ssh-copy-id -i ~/.ssh/id_rsa.pub $host; \
    done

Пришло время для самого главного — правки inventory файла для Ansible с нужными параметрами.

root@ansible# cat inventory
[OSEv3:children]
masters
nodes

[masters]
master.habra.cloud

[nodes]
master.habra.cloud openshift_schedulable=false openshift_node_labels="{'region': 'infra', 'zone': 'default'}"
node01.habra.cloud openshift_node_labels="{'region': 'primary', 'zone': 'firstzone'}"
node02.habra.cloud openshift_node_labels="{'region': 'primary', 'zone': 'secondzone'}"

[OSEv3:vars]
ansible_ssh_user=root
openshift_master_default_subdomain=apps.habra.cloud
containerized=false

deployment_type=origin

Осталась самая малость — качаем свежий архив с необходимыми ролями OpenShift для Ansible (нужен установленный git-client):

root@ansible# git clone https://github.com/openshift/openshift-ansible

Приступим к лакомке — установим наконец-то OpenShift Origin на наши ноды. Следующая команда подразумевает, что вы находитесь в том же каталоге, где и ваш inventory-файл.

Примечание: на текущий момент, последняя версия OpenShift Origin (1.4) playbook для Ansible корректно работает с Ansible версии 2.2.0.0. При обновлении до версии 1.4 мне пришлось откатить Ansible чтобы все встало корректно.

root@ansible# ansible-playbook -i ./inventory openshift-ansible/playbooks/byo/config.yml

Первичная настройка

root@master# oc get nodes

NAME                        STATUS                     AGE
master.habra.cloud          Ready,SchedulingDisabled   1d
node01.habra.cloud           Ready                      1d
node02.habra.cloud           Ready                      1d

Уже можно логиниться под любым пользователем.

Однако, радость будет не полной.

Для полного счастья нам нужно выполнить еще несколько действий. Во-первых продеплоить router и private docker-registry. Во-вторых, модифицировать docker-registry таким образом, чтобы он располагался на нашем NFS-сервере.

• Поехали — деплоим router и private docker-registry:

root@master# oadm manage-node master.habra.cloud --schedulable=true
root@master# oc get nodes
NAME                        STATUS                     AGE
master.habra.cloud          Ready                      1d
node1.habra.cloud           Ready                      1d
node2.habra.cloud           Ready                      1d

root@master# oc project default
root@master# oc get all

NAME                  REVISION   DESIRED   CURRENT   TRIGGERED BY
dc/docker-registry    4          1         1         config
dc/router             3          1         1         config

NAME                    DESIRED   CURRENT   READY     AGE
rc/docker-registry-1    0         0         0         1d
rc/router-1             1         1         1         1d


NAME                   CLUSTER-IP     EXTERNAL-IP   PORT(S)                   AGE
svc/docker-registry    172.30.7.135           5000/TCP                  1d
svc/kubernetes         172.30.0.1             443/TCP,53/UDP,53/TCP     1d
svc/router             172.30.79.17           80/TCP,443/TCP,1936/TCP   1d

NAME                          READY     STATUS    RESTARTS   AGE
po/docker-registry-1-ayuuo    1/1       Running   11         1d
po/router-1-lzewh             1/1       Running   8          1d

• На Master`е создадим файл nfs-pv.yaml со следующим содержимым:

apiVersion: v1
kind: PersistentVolume
metadata:
  name: registrypv 
spec:
  capacity:
    storage: 20Gi 
  accessModes:
  - ReadWriteOnce 
  nfs: 
    path: /nfs/infrastructure/registry
    server: nfs.habra.cloud
  persistentVolumeReclaimPolicy: Recycle

• Создадим еще один файл nfs-claim1.yaml:

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: registry-claim1
spec:
  accessModes:
  - ReadWriteOnce 
  resources:
    requests:
      storage: 20Gi

• Теперь создадим PV:

root@master# oc create -f nfs-pv.yaml

• и проверим результат:

root@master# oc get pv

NAME                   CAPACITY   ACCESSMODES   RECLAIMPOLICY   STATUS  ...    
registrypv             20Gi       RWO           Recycle         Available  

• Также поступим с pvc:

root@master# oc create -f nfs-claim1.yaml
root@master# oc get pvc

NAME              STATUS    VOLUME       CAPACITY   ACCESSMODES   AGE
registry-claim1   Bound     registrypv   20Gi       RWO           1d

• Модифицируем наш deploymentconfig для docker-registry, чтобы он смотрел на наш nfs-claim1:

root@master# oc volume deploymentconfigs/docker-registry --add --name=registry-storage -t pvc \
     --claim-name=registry-claim1 --overwrite

• Убеждаемся, что редеплой прошел:

root@master# oc get pods

NAME                       READY     STATUS    RESTARTS   AGE
docker-registry-2-sdfhk    1/1       Running   1         1d

• Добавляем следующие строки в 

# Reverse DNS record for master
host-record=master.habra.cloud,172.28.247.211
# Wildcard DNS for OpenShift Applications - Points to Router
server=/habra.cloud/172.28.246.50
address=/apps.habra.cloud/172.28.247.211
server=/apps.habra.cloud/172.28.246.50
# Forward .local queries to SkyDNS
server=/local/127.0.0.1#8053
# Forward reverse queries for service network to SkyDNS.
# This is for default OpenShift SDN - change as needed.
server=/17.30.172.in-addr.arpa/127.0.0.1#8053
# Forward .habra.cloud queries to DC
server=/habra.cloud/172.28.246.50#53

• Правим /etc/origin/master/master-config.yaml в разделе dnsConfig должно стать так:

dnsConfig:
  bindAddress: 0.0.0.0:8053

• Рестартим dnsmasq и master-node:

root@master# service dnsmasq restart
root@master# service origin-master restart

Заключение

Спасибо за внимание.

Комментарии (0)