vSphereTools: Как мы создавали открытый инструмент для автоматизации работы с vSphere07.12.2016 17:48

19f3ac398bde4098857c370698733e09.png

В нашем блоге на Хабре мы много рассказываем о внедрении подходов DevOps и разработанных нами инструментах автоматизации разработки и тестирования. Сегодня речь пойдет о том, как мы решали проблему взаимодействия с VMware vSphere.

Немного истории


В vSphere работают все наши виртуальные машины — как сборочные, так и тестовые серверы.

Пару лет назад до появления нашей собственной системы Continuous Integration большая часть наших сборок была перенесена на инструмент TeamCity. На тот момент у нас не было тестовых и деплойных конфигураций, однако необходимость их развития становилась все более явной.

На середину 2014 года нам было известно два решения для автоматизации работы с виртуальными машинами: использование собственного API VMware для работы с vSphere (библиотека VIX API) и применение библиотеки pysphere. У каждого из этих инструментов были недостатки.

У VIX API был слишком высокий для нас порог вхождения:

  • Инструмент представлял собой набор сложных и плохо документированных C-библиотек.
  • Всю интеграцию с нашими CI-системами пришлось бы писать самостоятельно на C.

Библиотека pysphere вообще была фактически недокументированной и с рядом проблем:
  • инструмент написан под Python 2.7;
  • отсутствовал интерфейс командной строки;
  • продукт представлял собой набор разрозненных классов, хаотично раскиданных по скриптам пакета;
  • проект только развивался и содержал множество багов.

Однако если сравнивать pysphere с VIX API, то у первого были и свои преимущества:
  • Он работает гораздо быстрее за счет использования http rest api для доступа к функциям vSphere.
  • Экспертиза в Python у нас в компании гораздо выше, так что порог вхождения для использования этого инструмента был ниже.
  • Отзывы о нашей самописной библиотеке PT.VIX поверх VIX API не выдерживали никакой критики в плане поддержки и надежности ее работы.

Поэтому было решено использовать эту библиотеку и на ее базе создать собственное решение.

Проект vSphereTools


Прежде чем начать программировать, мы составили требования к набору инструментов автоматизации.
  • продукт должен был поддерживать работу из консоли с широким набором команд;
  • иметь понятное API для возможности его импорта как обычной python-библиотеки;
  • быть встроенным в TeamCity в качестве метараннеров, доступных для выбора в шагах конфигураций.

Концептуальная модель взаимодействия vSphereTools с самой «Сферой» представлена ниже:

bd5309603c974f7da280f8ba06c167a0.png

Все довольно просто: инициатор, которым может быть пользователь или скрипт, отправляет команды, полученные через командную строку, инструменту vSphereTools, который переправляет данные библиотеке pysphere. Дальше запрос попадает в vSphere, где обрабатывается и отправляется виртуальной машине, которая выдает то, что нам нужно («стейты», атрибуты и т.п.)

Требования к окружению для vSphereTools были минимальны:

  • нужен служебный пользователь для доступа к vSphere;
  • с машины, на которой запускается vSphereTools, должен быть доступен сервис vcenter, а также ESX, на котором работает целевая виртуальная машина.
  • на целевой «виртуалке» должны быть также установлены инструменты VMware Tools;
  • на машине, на которой запускаются vSphereTools, должен быть установлен Python 2* версий 2.7 или старше.

Полная документация с примерами доступна в открытом сообществе DevOpsHQ. В итоге скрипты vSphereTools реализуют множество функций от старта и остановки виртуальных машин до копирования локального файла внутрь нужной виртуалки или запуска на ней конкретной программы.

В настоящий момент метараннеры и скрипты vSphereTools используются при разработке и тестировании практических всех крупных продуктов Positive Technologies — например, MaxPatrol SIEM, PT Application Firewall и Application Inspector и во многих других проектах.

Ограничения и возможные доработки


Как у любого инструмента у нашего продукта vSphereTools есть и свои ограничения:
  • Последняя доступная в индексе версия pysphere 0.1.8, а именно она лежит в основе vSphereTools.
  • Новые методы для vSphereTools приходится реализовывать только силами DevOps-отдела компании.
  • Новые версии VMware vSphere возможно не будут поддерживать старый API.
  • В настоящий момент наши скрипты работают только с Python 2* (2.7 и выше).

Поэтому мы планируем и ряд доработок. Например, хотим переписать vSphereTools на VMware vCloud Suite SDK for Python for vSphere 6.0. Документация этого инструмента уже доступна, также есть и python-api для него — библиотека pyvmomi.

P. S. Рассказ о проекте vSphereTools был представлен в рамках DevOps-митапа, который состоялся осенью в Москве.

По ссылке представлены презентации 16 докладов, представленных в ходе мероприятия. Все презентации и видео выступлений будут добавлены в таблицу в конце этого топика-анонса.

Автор: Тимур Гильмуллин

Комментарии (1)

  • 7 декабря 2016 в 16:51

    0

    ↑

    ↓

    > Библиотека pysphere вообще была фактически недокументированной и с рядом проблем:
    Тогда почему не выбрали pyvmomi? Он исключительно хорош

© Habrahabr.ru