Автоматическое развёртывание Django из GitLab25.11.2016 13:50

FROM python:3.5-alpine

RUN mkdir -p /usr/src/app
WORKDIR /usr/src/app

RUN apk add --no-cache --virtual .build-deps gcc musl-dev linux-headers pkgconf \
    autoconf automake libtool make postgresql-dev postgresql-client openssl-dev && \
    apk add postgresql-libs postgresql-client && \
    # Предотвращаем неудачную компиляцию uWSGI внутри Docker, см. https://git.io/v1ve3
    (while true; do pip --no-cache-dir install uwsgi==2.0.14 && break; done)

COPY requirements.txt /usr/src/app/
RUN pip install --no-cache-dir -r requirements.txt

COPY . /usr/src/app
RUN SECRET_KEY=build ./manage.py collectstatic --noinput && \
    ./manage.py makemessages && \
    apk del .build-deps

version: '2'
services:
    web:
        # TODO: Смените username и project на подходящие вам значения.
        image: registry.gitlab.com/username/project:${CI_BUILD_REF_NAME}
        build: ./web
        ports:
            # открытые наружу порты
            - "8000:8000"
        environment:
            # переменные окружения, значения которых пробрасываются
            #  в контейнер из сервера
            - SECRET_KEY
        command: uwsgi /usr/src/app/uwsgi.ini
        volumes:
            - static:/srv/static
        restart: unless-stopped

    test:
        # TODO: Смените username и project на подходящие вам значения.
        image: registry.gitlab.com/username/project:${CI_BUILD_REF_NAME}
        command: python manage.py test
        restart: "no"

    postgres:
        image: postgres:9.6
        ports:
            # открытые наружу порты
            - "5432:5432"
        environment:
            # переменные окружения: пользователь и база данных
            - POSTGRES_USER=root
            - POSTGRES_DB=database
        volumes:
            # хранилище данных
            - data:/var/lib/postgresql/data
        restart: unless-stopped

    nginx:
        image: nginx:mainline
        ports:
            # открытые наружу порты
            - "80:80"
            - "443:443"
        volumes:
            # хранилища конфигов и статических файлов
            - ./nginx:/etc/nginx:ro
            - static:/srv/static:ro
        depends_on:
            - web
        restart: unless-stopped

upstream django {
    server web:8000;
}

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.postgresql',
        'NAME': 'database',
        'HOST': 'postgres',
    }
}

# Сообщаем Gitlab CI, что мы будем использовать Docker при сборке.
image: docker:latest
services:
    - docker:dind

# Описываем, из каких ступеней будет состоять наша непрерывная интеграция:
#  - сборка Docker-образа,
#  - прогон тестов Django,
#  - выкат на боевой сервер.
stages:
    - build
    - test
    - deploy

# Описываем инициализационные команды, которые необходимо запускать
#  перед запуском каждой ступени.
# Изменения, внесённые на каждой ступени, не переносятся на другие, так как запуск
#  ступеней осуществляется в чистом Docker-контейнере, который пересоздаётся каждый раз.
before_script:
    # установка pip
    - apk add --no-cache py-pip
    # установка docker-compose
    - pip install docker-compose==1.9.0
    # логин в Gitlab Docker registry
    - docker login -u gitlab-ci-token -p $CI_BUILD_TOKEN $CI_REGISTRY

# Сборка Docker-образа
build:
    stage: build
    script:
        # собственно сборка
        - docker-compose build
        # отправка собранного в registry
        - docker-compose push

# Прогон тестов
test:
    stage: test
    script:
        # вместо повторной сборки, забираем собранный на предыдущей ступени
                #  готовый образ из registry
        - docker-compose pull test
        # запускаем тесты
        - docker-compose run test

# Выкат на сервер
deploy:
    stage: deploy
    # выкатываем только ветку master
    only:
        - master
    # для этой ступени другие команды инициализации
    before_script:
        # устанавливаем зависимости Fabric, bash и rsync
        - apk add --no-cache openssh-client py-pip py-crypto bash rsync
        # устанавливаем Fabric
        - pip install fabric==1.12.0
        # добавляем приватный ключ для выката
        - eval $(ssh-agent -s)
        - bash -c 'ssh-add <(echo "$DEPLOY_KEY")'
        - mkdir -p ~/.ssh
        - echo -e "Host *\n\tStrictHostKeyChecking no\n\n" > ~/.ssh/config
    script:
        - fab -H $DEPLOY_ADDR deploy

#!/usr/bin/env python2

from fabric.api import hide, env, settings, abort, run, cd, shell_env
from fabric.colors import magenta, red
from fabric.contrib.files import append
from fabric.contrib.project import rsync_project
import os

env.user = 'root'
env.abort_on_prompts = True
# TODO: Смените на путь на сервере, по которому будут скопированы файлы приложения
PATH = '/srv/mywebapp'
ENV_FILE = '/etc/profile.d/variables.sh'
VARIABLES = ('SECRET_KEY', )

def deploy():
    def rsync():
        exclusions = ('.git*', '.env', '*.sock*', '*.lock', '*.pyc', '*cache*',
                      '*.log',  'log/', 'id_rsa*', 'maintenance')
        rsync_project(PATH, './', exclude=exclusions, delete=True)

    def docker_compose(command):
        with cd(PATH):
            with shell_env(CI_BUILD_REF_NAME=os.getenv(
                    'CI_BUILD_REF_NAME', 'master')):
                # прячем прогресс-бар, см. https://git.io/vXH8a
                run('set -o pipefail; docker-compose %s | tee' % command)

    # Сохраняем переменные на сервере
    variables_set = True
    for var in VARIABLES + ('CI_BUILD_TOKEN', ):
        if os.getenv(var) is None:
            variables_set = False
            print(red('ERROR: environment variable ' + var + ' is not set.'))
    if not variables_set:
        abort('Missing required parameters')
    with hide('commands'):
        run('rm -f "%s"' % ENV_FILE)
        append(ENV_FILE,
               ['export %s="%s"' % (var, val) for var, val in zip(
                   VARIABLES, map(os.getenv, VARIABLES))])
    # Fabric перечитывает переменные из профиля при каждом вызове run(),
    #  поэтому нет смысла делать это явно. см. http://stackoverflow.com/q/38024726/1336774

    # Логинимся в registry
    run('docker login -u %s -p %s %s' % (os.getenv('REGISTRY_USER',
                                                   'gitlab-ci-token'),
                                         os.getenv('CI_BUILD_TOKEN'),
                                         os.getenv('CI_REGISTRY',
                                                   'registry.gitlab.com')))

    # Выполняем начальную установку, если нужно
    with settings(warn_only=True):
        with hide('warnings'):
            need_bootstrap = run('docker ps | grep -q web').return_code != 0
    if need_bootstrap:
        print(magenta('No previous installation found, bootstrapping'))
        rsync()
        docker_compose('up -d')

    # Включаем заглушку "технические работы", см. https://habr.ru/post/139968
    run('touch %s/nginx/maintenance && docker kill -s HUP nginx_1' % PATH)
    rsync()
    docker_compose('pull')
    docker_compose('up -d')
    # Убираем заглушку
    run('rm -f %s/nginx/maintenance && docker kill -s HUP nginx_1' % PATH)