Приватное облако для Интернета Вещей16.10.2018 06:19

Приветствую, Хабр!

Мы, команда ИТ архитекторов из IBM, которая занимается созданием и продвижением на рынок индустриальных решений для разных отраслей. В свободное от основной работы время исследуем новые технологии, экспериментируем и пробуем на деле лучшие практики.

Последние годы большой популярностью пользуется тематика Интернета Вещей. Наши клиенты спрашивают об универсальных коробочных решениях и платформах, которые могут располагаться локально в их Центрах Обработки Данных. Самое главное, ожидается, что на базе таких «коробочек», все новые сервисы и приложения должны разрабатываться и запускаться очень быстро, а точнее моментально или «еще вчера».

Мы задались вопросом: «А что если собрать нечто подобное на открытых и общедоступных технологиях?»
Про использование контейнеров Docker и средства управления ими на базе Kubernetes было уже немало рассказано и показано. Однако пока не удалось увидеть каким образом все эти передовые технологии могут быть использованы в промышленных масштабах для бизнес-задач, конкретно под Интернет Вещей. Так давайте же восполним этот пробел. Концепцию микросервисов, а также модные подходы разработки (DevOps), интеграции и развертывания приложений (CI/CD) будем считать немного другой задачей и отложим на потом.

В этой статье мы хотим рассказать про подготовку и установку одного из ключевых компонентов — IBM Cloud Private (по сути, промышленную сборку Docker/Kubernetes и еще чуть-чуть), который может выступить в качестве условного инфраструктурного ядра при создании локальной платформы Интернета Вещей. Спросите, почему именно он?

Потому что мы обещали открытые и общедоступные технологии (бесплатная версия для сообщества и поддержка от сообщества): hub.docker.com/r/ibmcom/icp-inception

Обзор IBM Cloud Private

IBM Cloud Private (ICP) — это приватная облачная платформа для локального развертывания и эксплуатации. ICP представляет собой интегрированную среду, которая позволяет проектировать, разрабатывать, развертывать и управлять локальными приложениями, созданными с учетом контейнерной архитектуры. Поставка ICP включает в себя оркестратор на базе Kubernetes (K8s), локальное хранилище образов, а также консоль управления и вспомогательный инструментарий для мониторинга.

Что такое приватное или частное облако?

Приватное облако — это модель облачных вычислений, запускаемая исключительно для одной организации, как правило на ее территории и ресурсах. Такое облако может управляться и обслуживаться как собственными специалистами, так и сотрудниками третьих сторон. Размещаться подобная платформа может как за брандмауэром компании, так и вне его. Частное облако предоставляет преимущества общедоступного облака, в том числе быстрое развертывание и масштабируемость, а также простоту использования, управления и гибкости. При этом локальная версия обеспечивает больший контроль над системой, повышение производительности, точно предсказуемые затраты, повышенные требования к безопасности и гибкие возможности управления в зависимости от нужд организации. Частное облако позволяет настраивать его непосредственно под конкретные бизнес-задачи и требования безопасности клиента.

Прежде чем приступать к установке ICP, определимся с терминологией:

Главный узел (master node)

Контролирует и управляет кластером K8s.
kubectl: инструментарий командной строки для управления кластером.
REST API: интерфейс взаимодействия с рабочими узлами.
etcd: является постоянным и доступным хранилищем ключей, используется в качестве хранилища резервных копий K8s для всех данных кластера.
kube-scheduler: этот компонент наблюдает за недавно созданными контейнерами (pods), которые не имеют назначенного узла, и выбирает узел для их запуска.
Обычно для стабильной работы и обеспечения отказоустойчивости требуется 3 и более главных узлов. В нашем случае, для экономии ресурсов мы установим все необходимые компоненты ICP на один выделенный сервер (Single Node).

Рабочий узел (worker node)

Рабочая машина в K8s ранее известная как Миньон (Minion). Этот узел может быть любым из хостов, который получает задания от главного узла, а также контролирует процесс запуска контейнеров на нем. В зависимости от настроек кластера, рабочий узел может быть как виртуальной машиной, так и физическим сервером.
На каждом узле могут быть запущены следующие компоненты:
kubelet: является основным сервисом рабочего узла. Он следит за контейнерами, которые были назначены его узлу (либо apirusver для безопасного соединения, либо через локальный файл конфигурации).
kube-proxy: отображает сервисы, определенные в API K8s на каждом узле, поддерживая сетевые правила на хосте и выполняя переадресацию соединений.
docker: среда запуска и управления контейнерами.
supervisord: Это легковесный процесс мониторинга и система управления, которые можно использовать для поддержания работы kubelet и docker.
fluentd: Это сервис, который помогает обеспечить протоколирование на уровне кластера.

Контейнеры (containers)

Приложение запущенное в изолированной среде.
Совокупность исполняемых процессов и запускаемый образ программы.

Коконы (pods)

Pod представляет собой группу из одного или нескольких контейнеров Docker, с общим хранилищем / сетью и спецификацией того, как запускать контейнеры на рабочем узле.
Каждый Pod имеет свой собственный IP.
Pod разделяет пространство имен PID, сеть и имя хоста.

Контроллер репликации (replication controller)

Обеспечивает доступность и масштабируемость.
Отвечает за контроль количества развернутых Pod-ов.
Использует шаблон, описывающий что должен содержать каждый Pod.

Метки (labels)

Метаданные, назначенные ресурсам K8s, например: контейнеры, сервисы.
Пары «ключ-значение», прикрепленные к объектам для идентификации.
Эти параметры критичны, так как основываются на запросе кластера к ресурсам с определенными метками.

Сервисы (services)

Коллекция контейнеров, выставленных в качестве конечной точки (endpoint).
Информация о состоянии кластера K8s и настроек сети, которая распространяется на все рабочие узлы.
При правильной конфигурации Pod-ы созданные контроллером репликации будут автоматически зарегистрированы как соответствующий сервис.

Секретная информация (secrets)

Конфиденциальные сведения, которые должны быть прочитаны или использоваться контейнерами.
Специальные разделы (volumes) дискового накопителя монтируются автоматически чтобы контейнеры могли прочитать содержимое.
Каждая запись имеет свой собственный путь.

Архитектура

Ниже представлена высокоуровневая архитектура ICP на которой перечислены основные компоненты с разбивкой на главный, рабочие и прокси узлы. Стоит отметить, что в этой статье основной упор сделан на связке контейнеров Docker и среды управления Kubernetes. Эти компоненты с открытым исходным кодом являются ключевыми и фундаментальными для платформы ICP. Тем не менее для полноценной работы с ICP также потребуется знание Helm — менеджера управления программными пакетами. K8s используется для развертывания и размещения экземпляров приложений, которые встроены в схемы Helm, они в свою очередь ссылаются на Docker-образы. В схемах Helm содержится информация о деталях вашего приложения, а Docker-образы содержат все программные пакеты, которые необходимы для запуска вашего приложения.

Для детального ознакомления с архитектурой и компонентами платформы ICP можно воспользоваться ссылкой на документацию в IBM Knowledge Center.

Подготовка

Для того, чтобы комфортно выполнить установку ICP за 20–30 минут, необходимы следующие минимальные аппаратные ресурсы и доступ в Интернет:
• Один хост (физический или виртуальный)
• CPU = 8 ядер (или виртуальных ядер)
• ОЗУ = 10 Гб (фактически может потребоваться до 14Гб)
• Диск = 40 Гб (на SSD как всегда быстрее)

Примечание: если у вас есть чуть больше свободного времени и чуть меньше аппаратных ресурсов, то где-то за 40–60 минут можно установить ICP на 1 виртуальном ядре core i5 и 10 Гб ОЗУ.

Установка

Загрузка Ubuntu

Скачайте дистрибутив Ubuntu Server версии 16.04.05. Выполните стандартную установку ОС на виртуальную или физическую машину с указанными выше характеристиками.

Получение IP адреса

После завершения процесса установки ОС в командной строке узнайте IP адрес своей виртуальной машины с помощью такой команды:

ifconfig

Вам необходимо записать/запомнить Ethernet IP адрес (inet addr), а также Bcast и Mask. Эти параметры отобразятся после выполнения соответствующей команды:

Рисунок 1. Пример выполнения команды «ifconfig»

Подключение по SSH

В случае, если при настройке виртуальной машины вы использовали функцию «Easy Install», то после полной установки Ubuntu Server вам необходимо доустановить OpenSSH server. Сделать это можно следующими командами:

apt install openssh-server
sudo systemctl enable sshd

После выполнения соответствующих команд у вас появится возможность подключиться к виртуальной машине с помощью SSH. В зависимости от ОС вы можете использовать разные способы подключения. Для Windows можно воспользоваться популярным инструментом PuTTY, для MacOS можно использовать команду ssh в терминале.

Рисунок 2. Пример подключения через PuTTY для Windows

На следующем этапе необходимо установить пароль для супер-пользователя (root):

sudo -i
passwd

Рисунок 3. Установка нового пароля для пользователя root

Обновление сетевого интерфейса

После того как мы настроили возможность подключения через SSH и обновили пароль супер-пользователя, для определения статичных сетевых параметров нам необходимо настроить сетевой интерфейс. Выполняется это следующей командой:

nano /etc/network/interfaces

Обновляем настройки сетевого интерфейса (primary network interface) на базе информации полученной при выполнении команды ifconfig, наш пример выглядит так:

auto ens33
iface ens33 inet static
address 192.168.175.7
netmask 255.255.255.0
network 192.168.175.0
broadcast 192.168.175.255
gateway 192.168.175.2
dns-nameservers 192.168.175.2 8.8.8.8

Примечание: важно правильно указать DNS-сервер, так как доступ в Интернет необходим для последующей установки компонентов ICP.

Рисунок 4. Настройка сетевого интерфейса

Сохраните обновленный файл при помощи следующих действий: Ctrl + X, Yes, Enter.

Для упрощения входа на виртуальную машину с правами супер-пользователя (root), необходимо внести изменения в конфигурацию SSH сервиса. Для этого необходимо выполнить такую команду:

nano /etc/ssh/sshd_config

Далее найти строку разрешения доступа и отредактировать ее соответствующим образом:

PermitRootLogin yes

Рисунок 5. Обновление конфигурации SSH

Сохраните файл как в предыдущем шаге: Ctrl + X, Yes, Enter.

После внесения всех изменений, для применения новых параметров имеет смысл полностью перезапустить виртуальную машину или перезапустить соответствующие сервисы (networking и ssh), например такими командами:

shutdown -r 0

или

service  restart

После перезапуска машины необходимо снова выполнить вход в систему через SSH.

Обновление компонентов

Обновите Ubuntu Server с помощью следующей команды (команда должна выполняться под root правами):

apt update

Примечание: если в ходе обновления возникает ошибка: «The repository 'cdrom://Ubuntu-Server 16.04.5 LTS _Xenial Xerus_ — Release amd64 (20180731) xenial Release' does not have a Release file.». Необходимо выполнить следующую команду:

sudo nano /etc/apt/sources.list

И закомментировать строку:

deb cdrom:[Ubuntu-Server 16.04.5 LTS …

Рисунок 6. Исправление возможной ошибки

Далее сохраняем файл, как это делали ранее: Ctrl + X, Yes, Enter

После исправления возможной ошибки, выполните повторно команду обновления и в результате вы должны будете увидеть что-то вроде такого:

Рисунок 7. Обновление Ubuntu

Установка IBM Cloud Private

Прежде чем выполнить установку ICP, вам необходимо отредактировать hosts файл:

nano /etc/hosts

Замените строку 127.0.1.1 ubuntu на ваш IP адрес и любое подходящее название хоста.

Убедитесь, что название хоста и псевдонима в строке отделены табуляцией или пробелом:

Рисунок 8. Изменение hosts файла

Сохраните файл: Ctrl + X, Yes, Enter

Следующие 2 команды позволят вам обновить систему и установить дополнительные модули.

apt update
apt-get install apt-transport-https ca-certificates curl software-properties-common python-minimal jq

Проследите за выводом терминала на наличие ошибок:

Рисунок 9. Установка дополнительных компонентов

Увеличьте максимальную виртуальную память командой:

sysctl -w vm.max_map_count=262144

K8s не запустится с включенным swap. Отключить его можно командой:

swapoff –a

Примечание: две предыдущие команды будут работать в текущем сеансе. При перезагрузке эти параметры будут утеряны и необходимо прописать их заново.

Применение этих параметров при загрузке ОС можно включить такими командами:

sed -i '/ swap / s/^/#/' /etc/fstab
echo "vm.max_map_count=262144" >> /etc/sysctl.conf

Добавление GPG ключа

Воспользуемся следующей командой:

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | apt-key add -

Добавление репозитория для установки Docker

Для выполнения установки репозитория необходимо выполнить следующие 2 команды:

add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
apt-get update

Установка Docker

Воспользуйтесь следующей командой для установки Docker (версия Docker 17.12.1 максимальная поддерживаемая версия для IBM Cloud Private 2.1.0.3):

apt-get install docker-ce=17.12.1~ce-0~ubuntu

Рисунок 10. Процесс установки Docker

Проверить работоспособность Docker можно следующей командой:

docker version

Рисунок 11. Проверка Docker

Загрузка IBM Cloud Private

Для загрузки образа ICP-ce (Сommunity Edition) с ресурса dockerHub необходимо использовать инструментарий Docker. Выполнить это можно следующей командой:

docker pull ibmcom/icp-inception:2.1.0.3

Рисунок 12. Загрузка ICP

IBM упаковала все основные компоненты, необходимые для установки, в один пакет (обратите внимание, что при необходимости можно изменить версию на более новую). Команда pull загрузит образ в локальную файловую систему (образ будет запущен для установки ICP).

Создайте каталог и перейдите в него:

mkdir /opt/icp
cd /opt/icp

Скопируйте пакет ICP в этот каталог:

docker run -e LICENSE=accept -v "$(pwd)":/data ibmcom/icp-inception:2.1.0.3 cp -r cluster /data

Примечание: эта команда инструментария Docker выполняет Linux команду copy (cp) из заданного каталога (параметр -v). Создастся каталог кластера в /opt/icp со всеми необходимыми файлами.

Настройка SSH ключей

Создаем новые ssh ключи в каталоге /opt/icp/cluster:

ssh-keygen -b 4096 -f ~/.ssh/id_rsa -N ""
cat ~/.ssh/id_rsa.pub | sudo tee -a ~/.ssh/authorized_keys
systemctl restart sshd
cp ~/.ssh/id_rsa ./cluster/ssh_key

Проверяем, что ключ создан и находится в папке /opt/icp/cluster:

ls /opt/icp/cluster

Рисунок 13. Содержимое папки cluster

Настройка ICP

Добавляем IP-адрес каждого узла в кластере в файл /opt/icp/cluster/hosts (в нашем случае мы используем один и тот же IP-адрес для каждого компонента, который мы указывали в /etc/hosts). Делаем это следующей командой:

nano /opt/icp/cluster/hosts

Рисунок 14. Содержимое файла hosts

Сохраните файл: Ctrl + X, Yes, Enter

Подробные сведения о параметрах установки можно посмотреть в файле конфигурации:

more /opt/icp/cluster/config.yaml

Не рекомендуем менять параметры установки по умолчанию.

Примечание: 2 самых важных файла для установки — это hosts и config.yaml, они описывают параметры установки ICP. В конфигурации с несколькими рабочими узлами необходимо указать список IP-адресов в разделе worker. При установке текущей версии ICP в режиме Single Node меняются IP-адреса только в файле hosts.

Установка ICP

Перейдите в каталог cluster и запустите установку:

cd /opt/icp/cluster
docker run -e LICENSE=accept --net=host -t -v "$(pwd)":/installer/cluster ibmcom/icp-inception:2.1.0.3 install

В зависимости от доступных ресурсов установка может длиться от 20 до 60 минут. При появлении ошибок (красные сообщения) внесите соответствующие изменения в конфигурационные файлы. Иногда установка может немного замедлиться из-за попыток повторного подключения к компонентам, которые еще не успели стартовать (например, во время запуска Cloudant или IAM).

Окончание установки должно выглядеть так:

Рисунок 15. Результат установки ICP

В случае ошибок возможно потребуется деинсталляция ICP:

docker run -e LICENSE=accept --net=host -t -v "$(pwd)":/installer/cluster ibmcom/icp-inception:2.1.0.3 uninstall

Перед тем, как перейти к следующему шагу, подождите около 5 минут, чтобы все компоненты ICP могли успешно запуститься.

По ссылке указанной после завершения установки войдите в консоль ICP (admin/admin):

https://:8443

Рисунок 16. Страница входа в панель управления

Страница приветствия ICP:

Рисунок 17. Веб интерфейс панели управления

Вверху справа выберите меню «Catalog», отобразится список доступных приложений:

Рисунок 18. Каталог компонентов

В этом каталоге представлен список приложений и ПО, описание которых вы можете изучить на досуге, но пока не стоит торопиться разворачивать их.
Нам еще предстоит научиться правильно обращаться с только что установленным ICP (не только через Веб-интерфейс, но и консоль в виде CLI — Command Line Interface), подключать постоянное хранилище (persistent storage) и производить небольшие настройки.

В качестве заключения

Подведем итоги.

Мы успешно развернули IBM Cloud Private community edition (версии 2.1.0.3) на одном хосте в виртуальной машине под ОС Ubuntu Server 16.04.5. На текущий момент нами собственноручно проверена установка на гипервизорах VMware и Hyper-V, точно работает на XenServer и никаких сложностей для VirtualBox и KVM быть не должно.

Кому очень не терпится окунуться дальше в изучение ICP, то есть отличная подборка лабораторных работ нашего коллеги тут: github.com/phthom/IBMCloudPrivate

Из предстоящих шагов — после свежей установки нам остается немного настроить ICP и начать наполнять его чем-то полезным и приближенным к практическим задачам.

Если Хабр-сообщество поддержит позитивом это начинание, то по мере продвижения наших исследований и экспериментов мы будем наполнять ядро платформы необходимыми компонентами для сбора телеметрии, хранения данных, их обработки, анализа, построения прогнозов, формирования внешних программных интерфейсов и создания пользовательских приложений. Соответственно развивая серию таких статей.

Ждем ваших отзывов и предложений!

Также, наши единомышленники из AIXportal.ru подготовили замечательный видео-ролик по установке IBM Cloud Private на своем Youtube канале, кому-то будет удобнее так: youtu.be/eQwOOTzjM24

Ссылки и полезные материалы

• Страница о продукте на русском
• Кто хочет потренировать английский, книга — «ICP для чайников» 2018 г. (40 страниц)
• Официальная документация по ICP 2.1.0.3 на IBM Knowledge Center
• Открытое сообщество по ICP на IBM developerWorks
• Рецепты по ICP для разработчиков