[Из песочницы] Deploy Django приложений с использованием Ansible для чайников
Доброго времени суток! Совсем недавно мой коллега познакомил меня с замечательным инструментом автоматизации ручного труда под названием Ansbile. После чего моментально родилась идея написать что-то своё, что упрощает тот самый ручной труд. Что чаще всего приходится делать руками? Правильно, деплоиться.
В этой статье я расскажу о том, как с использованием ansible раскатать django-проект на чистом удаленном сервере ubuntu 14.04, создав при этом для проекта отдельного пользователя.Что из себя представляет ansible? Набор команд, написаных на python, которые позволяют автоматически выполнять заданные действия на удаленных машинах. Замечательно! Давайте построим план действий, как-бы мы это делали ручками?
Часть 1 (и использованием прав суперпользователя)Установить на чистую виртуальную машинку софт: mariadb, nginx, supervisor, python-mysqldb, python-virtualenv, python-pip, supervisor, uwsgi; Сконфигурировать nginx config; Сконфигурировать supervisor config; Создать нового пользователя системы специально под этот проект (само собой опционально); Часть 2 (от имени пользователя, хозяина проекта)Скопировать проект; Создать виртуальное окружение (с необходимыми пакетами внутри); Сконфигурировать local_settings.py (в ней мы храним настройки доступа к БД, а так же пути STATIC_ROOT and MEDIA_ROOT); Создать структуру таблиц в базе данных (syncdb для django<1.7, migrate); Собрать всю статику в одном месте; Часть 3 (опять переключаемся в права суперпользователя) Перезапускаем mysql; Перезапускаем nginx; Перезапускаем supervisor; Без лишних слов переходим к делу.
С чего начинается ansible — с файла hosts. В нем мы указываем все доступные нам машинки, над которыми будут производиться действия. В нашем случае машинка одна (о том как производить действия над несколькими машинками я рассказывать не буду, цель статьи не в этом) и файл выгляди следующим образом:
[project-hosts] root ansible_ssh_host=192.168.0.102 ansible_ssh_user=freylis ansible_ssh_pass=z ansible_sudo_pass=z user ansible_ssh_host=192.168.0.102 ansible_ssh_user=example2 ansible_ssh_pass=zz
[user-hosts] user
[root-hosts] root Давайте разберем.В секции [project-hosts] перечислены все имеющиеся в нашем распоряжении машинки, с указанием реквизитов доступа к ним. В нашем случае машинка одна, но указана два раза: первая содержит в себе root реквизиты, от имени которых будет производиться настройка системы, вторая — реквизиты еще не созданного пользователя, хозяина нашего django приложения. Первый параметр — алиас этой машинки.Секции [user-hosts] и [root-hosts] объединяют машинки в группы по общему назначнию (надеюсь тут понятно. Рутовые в одной группе, не-рутовые — в другой).
Итак, с хостами разобрались. Теперь нужно как-то сказать ansible`у что делать.
Но для начала расскажу о переменных. Совершенно ясно, что, например, название проекта используется многократно: в конфиге nginx, supervisor, пути к проекту и т.д. У Ansible множество способов указывать переменные, но мне больше нравится следующий: в директории grpou_vars создаем файл с названием секции из файла hosts. Например, я не стал заморачиваться и создал файл с названием project-hosts. Теперь переменные, объявленные в этом файле будут доступны всем машинкам, входящим в секцию [project-hosts], т.е. глобально по нашему проекту.
Вот всё, что понадобилось мне для этого проекта (ansible использует синтаксис jinja2):
# # system options #
# linux username username:
# about password crypt # http://docs.ansible.com/faq.html#how-do-i-generate-crypted-passwords-for-the-user-module # or run `mkpasswd --method=SHA-512` # here crypted user_crypt_password:
# really password user_password: z
user_homedir:»/home/{{ username }}»
mysql_root_user: root # root mysql user mysql_root_password:»
# # project options #
# project slug (if u have `example/manage.py` and example/example/settings.py` — `example` is project_slug) project_slug:
# url or list urls for nginx project_url:
project_dir:»{{ user_homedir }}/projects/{{ project_slug }}»
project_homedir:»{{ user_homedir }}/projects/{{ project_slug }}/{{ project_slug }}»
# virtualenv name env:»{{ project_dir }}/env»
# port for uwsgi, must be unique for each project uwsgi_port: 9000
# mysql database for current project mysql_database:»{{ project_slug }}»
# mysql user for current project mysql_user:
# mysql user password for current project mysql_user_password:
# # django settings #
debug: True local_settings: 'local_settings.py'
# set empty string if not used requirements: 'requirements.txt' Давайте сначала разберемся с настройкой системы. Создаем файл root-playbook.yml со следующим содержанием: --- — hosts: root-hosts sudo: true roles: — system Тут поясню две вещи:1. hosts: root-hosts — директива, говорящая нам о том, для машинок какой группы выполнять следующие действия;2. roles: system — список директорий с дальнейшими сценариями действий.
Давайте уже заглянем в директорию со сценариями. Она имеет следующий вид:
roles/ system/ handlers/ main.yml tasks/ main.yml templates/ nginx.j2 supervisor.j2 Здесь: handlers — хранит описание о обработчиках. Например, содержит описание того как перезапустить nginx; tasks — всему голова. Список заданий для Ansible; templates — шаблоны файлов, необходимых нам для некоторых демонов; Идем по порядку.
handlers:
--- — name: restart site supervisorctl: name={{ project_url }} state=restarted
— name: restart mysql service: name=mysql state=restarted enabled=yes
— name: restart nginx service: name=nginx state=restarted enabled=yes Yml синтаксис Ansible`а понятен: имя директивы, сама директива, действие с параметрами. Эти обработчики будут использованы в наших задачах, аля задача завершилась — будь добр запустить нужный хэндлер (секция notify)tasks: ---
# apt-get update — name: updating the system apt: update_cache=yes cache_valid_time=86400 notify: — restart server
# добавить apt-key для установки mariadb — name: Add mariadb apt repository key apt_key: id=0xcbcb082a1bb943db keyserver=hkp://keyserver.ubuntu.com:80 state=present
# добавить репозиторий для установки mariadb — name: Add mariadb apt repository apt_repository: repo='deb http://mirror.timeweb.ru/mariadb/repo/10.1/debian wheezy main' state=present
# установить необходимые пакеты — name: install packages apt: pkg={{ item.name }} state=present with_items: — name: python-mysqldb — name: python-virtualenv — name: python-pip — name: supervisor — name: mariadb-server — name: nginx — name: uwsgi — name: uwsgi-plugin-python
# скопировать файл supervisor.conf.j2 из директории templates в директорию на удаленном сервере (об этом чуть ниже) — name: copy supervisor config template: src=supervisor.conf.j2 dest=/etc/supervisor/conf.d/{{ project_url }}.conf notify: — restart site
# создать нового пользователя системы — name: create linux user user: name={{ username }} shell=/bin/bash home={{ user_homedir }} password={{ user_crypt_password }}
# создать пользователя mysql для этого проекта — name: Create MySQL user mysql_user: > name={{ mysql_user }} host=% password={{ mysql_user_password }} priv={{ mysql_database }}.*: ALL login_user={{ mysql_root_user }} login_password={{ mysql_root_password }} state=present notify: — restart mysql
# create database — name: Create MySQL database mysql_db: > name={{ mysql_database }} collation=utf8_general_ci encoding=utf8 login_user={{ mysql_root_user }} login_password={{ mysql_root_password }} state=present notify: — restart mysql
# скопировать nginx.j2 конфиг из templates в директорию на удаленно сервере — name: copy nginx config template: src=nginx.j2 dest=/etc/nginx/sites-available/{{ project_url }} notify: — restart nginx
— name: create symlink nginx config file: src=/etc/nginx/sites-available/{{ project_url }} dest=/etc/nginx/sites-enabled/{{ project_url }} state=link Разберем построчно одну секцию: — name: updating the system — имя, отображаемое в процессе деплоя— apt: update_cache=yes cache_valid_time=86400: apt — имя директивы ansible (я называю их директивами). update_cache, cache_valid_time — параметры директивы; — notify: — restart server — действие из handlers, которое необходимо сделать по заврешению задачи.
Собственно, синтаксис предельно прост. Если какие-то параметры не ясны — можно почитать в документации к Ansible. Но хотелось бы обратить внимание на директиву template. Она принимает два параметра: src — имя исходного файла, хранящегося в директории templates текущей роли и dest — куда этот файл нужно положить, предварительно отрендерив, используя все доступные переменные.
Например мой файл nginx.j2 template имеет следующий вид:
server {
root {{ project_dir }}/{{ project_slug }};
access_log {{ project_dir }}/logs/nginx-access.log; error_log {{ project_dir }}/logs/nginx-errors.log;
server_name {{ project_url }};
gzip on; gzip_min_length 1000; gzip_proxied expired no-cache no-store private auth; gzip_types text/plain application/xml;
location / { include uwsgi_params; uwsgi_pass 127.0.0.1:{{ uwsgi_port }}; }
location /static { root {{ project_dir }}; }
location /media { root {{ project_dir }}; }
location /robots.txt { root {{ project_dir }}; } } Внимательный читатель заметил, что директивой user мы создали нового пользователя нашей системы. Давайте от его имени развернем наш проект.Создаем еще один playbook с именем user-playbook.yml и следующим содержанием:
--- — hosts: user-hosts sudo: false roles: — django
— hosts: root-hosts sudo: true tasks: — name: restart site in supervisor supervisorctl: name={{ project_url }} state=restarted
— name: restart mysql service: name=mysql state=restarted enabled=yes
— name: restart nginx service: name=nginx state=restarted enabled=yes И внутри мы видим, что сначала выполняется некая роль django, а потом опять используя права суперпользователя выполняются таски перезапуска демонов. Давайте разберемся с тем, что нам нужно для развертывания проекта django: --- — name: create project directory file: path={{ project_dir }} state=directory
— name: create logs directory file: path={{ project_dir }}/logs state=directory
— name: create project home directory file: path={{ project_homedir }} state=directory
# разархивируем архив, предварительно собранный на локальной машинке — name: unarchive project archive unarchive: src=/tmp/django_deploy.tar dest={{ project_homedir }}
— name: create virtualenv pip: virtualenv={{ env }} virtualenv_site_packages=yes {% if requirements %}requirements={{ project_homedir }}/{{ requirements }}{% endif %}
# листинг uwsgi.j2 приводить не буду, дабы не растягивать статью. Файл есть в репозитории — name: copy uwsg file template: src=uwsgi.j2 dest={{ project_homedir }}/uwsgi.{{ project_slug }}.ini
# аналогично — name: copy local_settings.py template: src=local_settings.py dest={{ project_homedir }}/{{ project_slug }}/{{ local_settings }}
— name: syncdb (for django<1.7) django_manage: command=syncdb virtualenv={{ env }} app_path={{ project_homedir }}
— name: migrate database django_manage: command=migrate virtualenv={{ env }} app_path={{ project_homedir }}
— name: collectstatic django_manage: command=collectstatic virtualenv={{ env }} app_path={{ project_homedir }}
— name: create media directory file: path={{ project_dir }}/media state=directory
# я в своих проектах юзаю django-tinymce — name: create `uploads` directory file: path={{ project_dir }}/media/uploads state=directory Вот, собственно, и всё. На чистую систему мы установили необходимый софт, создали нового юзера, от его имени развернули django проект и перезапустили все сервера.
Всё это счастье запускается так:
# если деплоимся первый раз (система еще не настраивалась) или в систему необходимо внести изменения ansible-playbook -i hosts root-playbook.yml
# создаем архив с текущим состоянием проекта tar -cf /tmp/django-deploy.tar *
# запустить разворачивалку проекта и перезапуск демонов ansible-playbook -i hosts user-playbook.yml Работающий проект по разворачиванию на ubuntu server 14.04 находится в репозитории.
Спасибо за уделенное мне время, надеюсь был полезен.
