Простая автоматизация с Bash для новичков08.08.2024 10:30

Это — логотип Bash оболочки. Она сама и bash скрипт — это разные вещи.

Приветствую, это Денис из команды BagrovChibirev, и в статье я на простом примере расскажу об автоматизации процессов в Linux с помощью bash скриптов (сценариев командной строки).

Этот материал для тех, кто только рассматривает для себя инструменты автоматизации рутинных процессов. Я не буду вдаваться в подробности работы оболочки или терминологию (на знания чего и не претендую), но я пошагово пройдусь по написанному скрипту и расскажу своё мнение почему вообще их стоит использовать. Приятного чтения :)

Рассматривать я буду свой минималистичный скрипт для разворачивания простого python Django проекта при помощи системных юнитов (демонов) на удалённом сервере. Для тех, кто не в курсе: демоны — это специальные системные сервисы, которые следят за состоянием сторонних процессов и поддерживают их работоспособность. В современном мире для таких целей на микросервисах применяется Docker, но когда проект небольшой и состоит из пары-тройки процессов, их намного легче, проще и дешевле для системы (в разы), развернуть при помощи встроенных в линукс демонов.

Полностью скрипт доступен здесь

Начнём с того, что баш скрипт доступен почти всегда: Bash предустановлен на большинстве машин с Linux. Я использую скрипты на удалённых VPS, где в большинстве случаев используется либо Ubuntu 18+, либо Debian 10+, и, зайдя в систему, очень удобно просто закинуть в директорию сценарий, который произведет действия по обновлению, установке необходимого ряда пакетов, настройке пользователей и ssh доступов сам, без необходимости в очередной раз лезть туда руками.

Сам по себе язык сценариев bash очень прост, и исполняется построчно, что даёт систему управления похожую на скрипты Python, или просто последовательное выполнение команд в терминале оболочки сервера, если в скрипте нет ветвления или отработки ошибок.

Чтобы запустить такой сценарий, необходимо его непосредственно написать или импортировать любым образом в нужную Вам директорию, и задать ему права на исполнение. Начинается почти любой скрипт с объявления «шебанга»: специальных символов »#!», за которыми следует путь к «интерпретатору», который будет использоваться для выполнения этого сценария.

#!/bin/bash

В целом, для оболочки bash эта строка необязательна, но только в случаях, когда Вы явно указываете «интерпретатор», например, выполняя файл через команду ниже. Также работает, например, когда Вы выполняете программы на Python, явно вызывая его в качестве интерпретатора для сценария.

bash ./startup.sh
python -m ./startup.py

Но всё же, поскольку скрипт может быть вызван из другого места, или без использования явного указания оболочки, начинается он с шебанга и указания пути до оболочки bash.

Далее, поскольку скрипт создаёт несколько текстовых файлов с переменными, которые могут разниться от клиента к клиенту, я решил сделать обработку входящих аргументов. И поскольку аргументы могут быть переданы неправильно, мне также нужна отработка ошибок, для чего я написал функцию.

Ниже сразу я объявил функцию usage (), объявлять функции можно с круглыми скобками и без, но фигурные скобки после названия обязательны. Применение этой функции делает вывод помощи в консоль и прерывает дальнейшее выполнение.Важно понимать, что, поскольку Bash читает файл построчно, то вызов функции ДО её объявления вызовет уведомление об ошибке (скрипт продолжит работать), а переопределение функции полностью перезапишет её.

#!/bin/bash


# Принт справки помощи
usage() {
  echo "Usage: $0 -p projectname [-s servername] [-c] [-help]"
  echo "  -s servername     Set the server name (default: project)"
  echo "  -p projectname    Set the project name"
  echo "  -c                Include Celery service setup"
  echo "  -h             Print this help message"
  exit 1
}

Далее мне необходимо задать именованные параметры, которые будут использоваться ниже в коде, что я сделал через присвоение, и «встроенную» функцию getopts. Bash распознаёт различные инструменты языка при помощи пробелов и табуляции, поэтому здесь важно где Вы ставите пробел, а где нет. Например, CELERY=false — это присвоение, а вот CELERY = false — это уже сравнение.Ну, а обработка аргументов происходит при помощи оператора while, который проходится по всем вариантам функции getopts из заданного фиксированного списка. getopts перебирает переданный список аргументов и передаёт аргумент с его значением (если его нет, но он указан, то попадёт true) в переменную. В данном случае, в $opt попадает сама «переменная» аргумента, а в $OPTARG его значение.Уже внутри while, когда в $opt лежит значение, можно перебрать его с помощью оператора case. В конце, для завершения цикла case ставится оператор esac (также работает и для if — fi), а для завершения while ставится оператор done .

# Парсит переданные аргументы
CELERY=false
while getopts "cs:p:" opt; do
  case $opt in
    c)
      CELERY=true
      ;;
    s)
      SERVERNAME=$OPTARG
      ;;
    p)
      PROJECTNAME=$OPTARG
      ;;
    h)
      usage
      ;;
    ?)
      usage
      ;;
  esac
done

Далее, распарсив аргументы, необходимо удостовериться, что они не пусты, а если и пусты, то передать в них стандартное значение. С полученными итоговыми значениями, скрипт наконец может спокойно заняться основным делом — созданием конфигурационных файлов. А по пути я еще задаю русскую локаль для сервера.

# Объявление переменных для подстановки
PROJECTFOLDER=$(pwd)
PROJECTNAME=${PROJECTNAME:-project}
SERVERNAME=${SERVERNAME:-_}


# Шаг 0: Конфигурация русской локали
if ! grep -q '^ru_RU.UTF-8' /etc/locale.gen; then
    echo "ru_RU locale is not configured. Configuring..."
    echo 'ru_RU.UTF-8 UTF-8' | sudo tee -a /etc/locale.gen
    sudo locale-gen
    echo "ru_RU locale configured successfully."
else
    echo "ru_RU locale is already configured."
fi

Поскольку мы не знаем пуст ли аргумент, то мы можем задать стандартное значение для него, произведя манипуляцию, похожую на тернарный оператор в Python. Здесь в его качестве выступает конструкция :-, стандартная при назначении значений переменных: если параметр не задан, задать ему указанное после оператора значение. Далее, при конфигурации локали и создании файла, используется конструкция if then fi: в общем случае, указанного перед этим синтаксиса достаточно для того, чтобы выполнять простые условия, но в качестве условий могут быть как выполнены команды (как в случае с локалью), так и произведены вычисления и сравнения.

После объявления условий выполнения хорошим тоном будет поставить ;, чтобы облегчить интерпретатору понимание кода, и гарантировать отсутствие ошибок типа пропущенного синтаксиса. Существует несколько разных способов объявления условий, и, в примере, использованы два: без скобок и с двойными скобками (подробнее здесь). Скобки можно не отбрасывать вообще, но можно и отбросить, если условие — это выполнение сторонней команды или результат работы функции. Двойные же квадратные скобки служат для того, чтобы обеспечить, простыми словами, более «буквальное» выполнение написанного внутри кода и обойтись без употребления кавычек вокруг переменных.Здесь же, в локали, используется оператор !, обозначающий эквивалент not для дальнейшего условия, а команда grep -q производит поиск заданной строки в заданном затем файле в «тихом» (-q = --quiet = --silent) режиме — без вывода информации в консоль. Соответственно, если результат выполнения команды — провал, то мы записываем в файл конфигурации локалей строку с необходимой локалью с помщью команды tee -a, и вызываем их генерацию через sudo .Чуть больше про tee . Здесь можно было бы воспользоваться стандартным echo >> file, но tee позволяет увидеть в терминале что было записано в файл, поэтому стандартно я пользуюсь ей, хотя в данном случае вывод в консоль перекрыт параметром > /dev/null, который «утилизирует» вывод — если он Вам нужен, этот параметр необходимо убрать. Параметр -а служит для добавления информации в конец файла без полной перезаписи. Ну, а параметр < говорит команде о том, что она должна записать в файл всё, что находится до символов «EOL»

# Шаг 2: Создание юнита для запуска селери
if [[ $CELERY = true ]]; then
  sudo tee /etc/systemd/system/celery_$PROJECTNAME.service > /dev/null <

# Шаг 3: Обновить конфигурацию системного демона
sudo systemctl daemon-reload

# Шаг 4: Установить и обновить конфигурацию Nginx
sudo apt-get install -y nginx

sudo tee /etc/nginx/sites-enabled/$PROJECTNAME > /dev/null <

# Шаг 5: Задание прав на выполненияе для скриптов запуска селери и гуникорна
chmod +x ./bin/*

# Шаг 6: Установка сервера редис (очереди для задач)
sudo apt-get update
sudo apt-get install -y redis-server python3-venv

# Шаг 7: создание и запуск виртуального окружения python
python3 -m venv ./venv
source ./venv/bin/activate

# Шаг 8: Устоновка необходимых зависимостей
python -m pip install -r requirements.txt

# Шаг 9: Подстановка пользователя и директории в исполняемые файлы
sed -i "s||$PROJECTFOLDER|g" ./bin/start_gunicorn.sh
sed -i "s||$PROJECTFOLDER|g" ./bin/start_celery.sh
sed -i "s||$PROJECTFOLDER|g" ./src/gunicorn_config.py
sed -i "s||$USER|g" ./src/gunicorn_config.py

# Шаг 10: Запуск миграций джанго на пустую базу данных
cd ./src
python manage.py makemigrations
python manage.py migrate
python manage.py loaddata fixtures/initial.json
python manage.py collectstatic --noinput

# Шаг 11: Запуск проекта с помощью юнита
sudo systemctl enable celery_$PROJECTNAME
sudo systemctl enable $PROJECTNAME
sudo systemctl start $PROJECTNAME
sudo systemctl start celery_$PROJECTNAME