MeteorJS, Nginx, mongodb, iptables… продакшен30.04.2017 09:33

processManagement:
  fork: true 
  pidFilePath: "/data/inmemory/mongod.pid"

storage:
  dbPath: "/data/inmemory"
  journal:
    enabled: false # Отключаем журналирование
                   # т.к. в памяти в случае падения оно нас всё равно не спасёт
  indexBuildRetry: true
  wiredTiger:
    engineConfig:
      cacheSizeGB: 8 # Ограничиваем размер кеша. 
                     # Я, честно говоря, не уверен, но его можно убрать полностью,
                     # т.к. это то, что монга для оптимизации поместит 
                     # в оперативную память, а данный инстанс уже весь в ней

systemLog:
  destination: "file"
  path: "/var/log/mongodb/mongodb.log" # Для всех экземпляров указываем один инстанс.
                                       # Теоретически тут можно получить просадку, 
                                       # если монга в памяти начнёт писать
                                       # на диск, но при нормальном функционировании 
                                       # эти события редки (ошибки, медленный запросы)
  logAppend: true
  quiet: false
  verbosity: 0
  logRotate: "reopen"
  timeStampFormat: "iso8601-local"

net:
  bindIp: 127.0.0.1 # Делаем монгу доступной только для локального интерфейса
                    # в случае, если настраиваем реалтайм бекап — добавляем внешний интерфейс
  port: 27000 # указываем, на каких портах будем размещать, 
              # они должны быть разные для разных инстансов в пределах сервера
  http:
    enabled: false # отключаем доступ по http и прочим интерфейсам
    JSONPEnabled: false
    RESTInterfaceEnabled: false
  ssl: # ssl нам тоже не нужен в данном случае
    mode: disabled

security: # Мы будем настраивать корректный доступ по правам, 
          #чтобы клиенты видели только то, что им надо
  authorization: "enabled"
  keyFile: "/data/mongod-keyfile" # Это ключ для общения реплик между собой
  javascriptEnabled: false # Запрещаем исполнение JS в БД.

replication:
  oplogSizeMB: 4096 # Указываем максимальный размер oplog'а. 
                    # В случае падения реплик их восстановление будет быстрым
                    # только если они отстали не более чем на размер oplog'a. 
                    # Корректный размер можно определить
                    # в зависимости от приложения — как часто идёт изменение БД?
  replSetName: "consulwar"
  enableMajorityReadConcern: false # указываем, что мы НЕ дожидаемся подтверждение 
                                   # от реплики на запись для возврата значений поиска.

operationProfiling:
  slowOpThresholdMs: 30 # указываем, сколько максимум может выполнятся запрос, 
                        # после чего будет считаться медленным
                        # и записан в лог для последующей ручной обработки
  mode: "slowOp"

По большей части конфиг повторяется, разница всего в паре мест.
Но оставляю для удобства

processManagement:
  fork: true
  pidFilePath: "/data/db/mongod.pid"

storage:
  dbPath: "/data/db"
  journal:
    enabled: true # Обращаем внимание, что тут журнал уже включен, 
                  # диск у нас считается надёжным источником
  indexBuildRetry: true
  wiredTiger:
    engineConfig:
      cacheSizeGB: 8 # Фактически, даже если по какой-то причине Primary упадёт, 
                     # secondary будет использовать память, но только для чтения

systemLog:
  destination: "file"
  path: "/var/log/mongodb/mongodb.log"
  logAppend: true
  quiet: false
  verbosity: 0
  logRotate: "reopen"
  timeStampFormat: "iso8601-local"

net:
  bindIp: 127.0.0.1
  port: 27001
  http:
    enabled: false
    JSONPEnabled: false
    RESTInterfaceEnabled: false
  ssl:
    mode: disabled

security:
  authorization: "enabled"
  keyFile: "/data/mongod-keyfile"
  javascriptEnabled: false

replication:
  oplogSizeMB: 4096
  replSetName: "consulwar"
  enableMajorityReadConcern: false

operationProfiling:
  slowOpThresholdMs: 30
  mode: "slowOp"

Разница, по сути, только в пути до БД и в зависимости от используемого порта.

processManagement:
  fork: true
  pidFilePath: "/secondary/data/db/mongod.pid"

storage:
  dbPath: "/secondary/data/db"
  journal:
    enabled: true
  indexBuildRetry: true
  wiredTiger:
    engineConfig:
      cacheSizeGB: 8

systemLog:
  destination: "file"
  path: "/var/log/mongodb/mongodb.log"
  logAppend: true
  quiet: false
  verbosity: 0
  logRotate: "reopen"
  timeStampFormat: "iso8601-local"

net:
  bindIp: 127.0.0.1
  port: 27002
  http:
    enabled: false
    JSONPEnabled: false
    RESTInterfaceEnabled: false
  ssl:
    mode: disabled

security:
  authorization: "enabled"
  keyFile: "/data/mongod-keyfile"
  javascriptEnabled: false

replication:
  oplogSizeMB: 4096
  replSetName: "consulwar"
  enableMajorityReadConcern: false

operationProfiling:
  slowOpThresholdMs: 30
  mode: "slowOp"

@ в названии сервиса означает что мы можем запускать его с параметрами.
Данный скрипт устанавливает все необходимые параметры ОС для работы с монгой — удобно.

[Unit]
Description= Mongo Database on %i
After=network.target

[Service]
Type=forking
ExecStartPre=/bin/sh -c '/bin/echo never > /sys/kernel/mm/transparent_hugepage/enabled'
ExecStartPre=/bin/sh -c '/bin/echo never > /sys/kernel/mm/transparent_hugepage/defrag'
User=mongodb
Group=mongodb
PermissionsStartOnly=true
ExecStart=/usr/bin/numactl --interleave=all /usr/bin/mongod --config /data/mongod-%i.conf
LimitFSIZE=infinity
LimitCPU=infinity
LimitAS=infinity
LimitNOFILE=64000
LimitNPROC=64000
TasksMax=infinity
TasksAccounting=false

[Install]
WantedBy=multi-user.target

Реплицировать мы будем на внешний сервер (иначе в чём смысл бекапа? :-)).
На внешнем сервере должна быть установлена монга схожим образом.
Примерный конфиг:

processManagement:
  fork: true
  pidFilePath: "/data/db/mongod.pid"

storage:
  dbPath: "/data/db"
  journal:
    enabled: true
  indexBuildRetry: false # Отключаем построение индексов
  wiredTiger:
    engineConfig:
      cacheSizeGB: 0 # Отключаем кеш

systemLog:
  destination: "file"
  path: "/var/log/mongodb/mongodb.log"
  logAppend: true
  quiet: false
  verbosity: 0
  logRotate: "reopen"
  timeStampFormat: "iso8601-local"

net:
  bindIp: 222.222.222.222 # Данный экземпляр должен быть доступен извне
  port: 27000
  http:
    enabled: false # но не по http, само собой
    JSONPEnabled: false
    RESTInterfaceEnabled: false
  ssl:
    mode: disabled

security:
  authorization: "enabled"
  keyFile: "/data/mongod-keyfile" # mongod-keyfile берем с основного сервера
  javascriptEnabled: false

replication:
  oplogSizeMB: 0
  replSetName: "consulwar"
  enableMajorityReadConcern: false

operationProfiling:
  mode: "off" # нам не нужно профилирование на бекапе

В фаерволе сервера-бекапа разрешаем коннект на 27000 порт ТОЛЬКО с IP сервера-приложения/БД.
Тоже самое — на сервере приложения/БД в bindIp указываем смотреть ещё и во внешний интерфейс (ip внешний сервера), и в iptables разрешаем доступ на 27000–27002 порты ТОЛЬКО с ip севера-бекапа.

При инициализации/реинициализации реплики добавляем

{
    _id: 4,
    host: '222.222.222.222:27000', // собственно интерфейс, на который смотрит бекап
    arbiterOnly: false,
    buildIndexes: false, // не строим индексы вообще на бекапе 
    hidden: true, // скрытый! Используется ТОЛЬКО для хранения информации
    priority: 0, // Не участвует в выборах
    slaveDelay: 0, // Задержка бекапа нам не нужна, 
                   // но может использоваться, если нужно пару бекапов в реалтайме "час назад"
    votes: 0 // Не участвует в голосовании
}

Готово! Теперь данные будут литься в реалтайме ещё и во внешний бекап, что очень круто.
В случае полного краха приложения мы можем инициализировать реплику точно так же, и она восстановится из бекапа.
Поверьте, это намного быстрее, чем mongodump/mongorestore (по личным прикидкам в 25–100 раз).

var settings = { ... }; // Объект заменяем объектом из settings.json вашего приложения

var instances = 10; // Сколько экземпляров запускаем? Советую не более N-1
                    // Где N — количество ядер

var apps = [];

for (var i = 0; i < instances; i++) {
  apps.push({
    "script": "/home/consulwar/app/current/bundle/main.js", // укажите корректный путь
    "exec_mode": "fork", // т.к. рулить будем через Nginx, создаем форками
    "name": "consulwar", // имя приложения в списке процессов
    "env": {
      "ROOT_URL": "http://consulwar.ru/", // Адрес приложения
      "HTTP_FORWARDED_COUNT": 1, // Указываем количество прокси перед приложением
                                 // Чтобы корректно разрулить IP пользователя в приложении
      "PORT": 3000 + i, // Порты начинаются с 3000 (3000, 3001, 3002...)
      "MONGO_URL": "mongodb://consulwar:37q4Re7m432dtDq@localhost:27000,localhost:27001,localhost:27002/consulwar?replicaSet=consulwar&readPreference=primary&authSource=consulwar",
      "MONGO_OPLOG_URL": "mongodb://consulwar:37q4Re7m432dtDq@localhost:27000,clocalhost:27001,localhost:27002/local?replicaSet=consulwar&authSource=consulwar",
      "METEOR_SETTINGS": settings
    }
  });
}

module.exports = {
  apps : apps
}

user www-data; # из-под кого запускаем nginx
worker_processes  6; # Указываем количество воркеров
worker_rlimit_nofile 65535;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;

events {
    worker_connections  4000; # Кол-во подключений на воркера
                              # В нашем случае мы можем обработать 6 * 4000 = 24 000 запросов 
                              # в момент времени
}

http {
    map $http_upgrade $connection_upgrade { # Для корретной установки сокет-подключения
        default upgrade;
        ''      close;
    }

    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    server_tokens off;

    sendfile on; # Для отправки статики
    tcp_nopush on;
    tcp_nodelay on;
    keepalive_timeout 65;

    gzip on; # Включаем gzip
    gzip_comp_level 6;
    gzip_vary on;
    gzip_proxied any;
    gzip_buffers 16 8k;
    gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript application/javascript;
    gzip_static on; # Разрешаем отдачу файлов с .gz на конце. Например, main.js.gz будет отдаваться при запросе main.js
    gzip_http_version 1.1;
    gzip_disable "MSIE [1-6]\.(?!.*SV1)"

    proxy_connect_timeout      60;
    proxy_read_timeout         620;
    proxy_send_timeout         320;
    proxy_set_header        X-Real-IP       $remote_addr;
    proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;

    upstream backends {
        #ip_hash; # указываем, если нам надо что бы пользователь всегда подключался к одному и тому же экземпляру приложения
        least_conn; # Я выбрал, чтобы подключение отдавалось наименее нагруженному процессу

        # Прописываем каждый из интерфейсов
        # Я запускал их 10, значит тут 10 записей
        server 127.0.0.1:3000 weight=5 max_fails=3 fail_timeout=60; 
        server 127.0.0.1:3001 weight=5 max_fails=3 fail_timeout=60;
        server 127.0.0.1:3002 weight=5 max_fails=3 fail_timeout=60;
        server 127.0.0.1:3003 weight=5 max_fails=3 fail_timeout=60;
        server 127.0.0.1:3004 weight=5 max_fails=3 fail_timeout=60;
        server 127.0.0.1:3005 weight=5 max_fails=3 fail_timeout=60;
        server 127.0.0.1:3006 weight=5 max_fails=3 fail_timeout=60;
        server 127.0.0.1:3007 weight=5 max_fails=3 fail_timeout=60;
        server 127.0.0.1:3008 weight=5 max_fails=3 fail_timeout=60;
        server 127.0.0.1:3009 weight=5 max_fails=3 fail_timeout=60;

        # Интерфейс, который будет отрабатывать в случае недоступности приложения
        server 127.0.0.1:3100 backup;
    }

    # Указываем пути до ssl сертификатов. Мы их создадим чуть позже
    ssl_certificate /etc/letsencrypt/live/consulwar.ru/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/consulwar.ru/privkey.pem;

    ssl_dhparam /etc/ssl/certs/dhparam.pem;

    ssl_stapling on;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers         'ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-DSS-AES128-GCM-SHA256:kEDH+AESGCM:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA:ECDHE-ECDSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-DSS-AES128-SHA256:DHE-RSA-AES256-SHA256:DHE-DSS-AES256-SHA:DHE-RSA-AES256-SHA:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:AES:DES-CBC3-SHA:!RC4:!aNULL:!eNULL:!MD5:!EXPORT:!EXP:!LOW:!SEED:!CAMELLIA:!IDEA:!PSK:!SRP:!SSLv:!aECDH:!EDH-DSS-DES-CBC3-SHA:!EDH-RSA-DES-CBC3-SHA:!KRB5-DES-CBC3-SHA';

    server {
        server_name consulwar.ru;
        # указываем слушать 80 и 443 порты
        listen 80;
        listen 443 ssl http2;

        # любой запрос переадресовываем на одно из наших приложений 
        location / {
            proxy_pass http://backends;

            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection $connection_upgrade;
            proxy_set_header X-Forwarded-For $remote_addr;
        }

        # Статику раздаем с помошью nginx
        location ~* \.(jpg|jpeg|gif|ico|png)$ {
            root /home/consulwar/app/current/programs/web.browser/app;
        }

        # Основной css и js файл лежит отдельно, добавляем правило дополнительное
        location ~* "^/[a-z0-9]{40}\.(css|js)$" {
            root /home/consulwar/app/current/programs/web.browser;
        }

        location ~ "^/packages" {
            root /home/consulwar/app/current/programs/web.browser;
        }

        # В случае, если у вас никаких систем мониторинга не стоит, 
        # можно убрать следующую конструкцию.
        location /nginx_status {
            stub_status on;
            access_log off;
            allow 127.0.0.1;
            deny all;
        }

        # Для получения SSL сертификата
        location ~ "^/.well-known" {
            root /home/consulwar/app/current/programs/web.browser/app/.well-known;
        }
    }

    include /etc/nginx/conf.d/*.conf;
    client_max_body_size 128m;
}

#!/bin/sh
iptables-restore < /etc/firewall.conf
ip6tables-restore < /etc/firewall6.conf

*filter
:INPUT ACCEPT [193038:64086301]
:FORWARD DROP [0:0]
:OUTPUT ACCEPT [194475:60580083]
-A INPUT -i lo -j ACCEPT # Разрешаем локальное общение
-A INPUT -m state --state RELATED,ESTABLISHED -p all -j ACCEPT # Разрешаем существующие подключения

# Разрешаем SSH
-A INPUT -m state --state NEW -p tcp -m multiport --dport 355 -j ACCEPT

# Доступ к Nginx
-A INPUT -m state --state NEW -p tcp -m multiport --dport 80,443 -j ACCEPT

# Ловушка для кривых подключений, будет тратить ресурсы атакующего, а не сервера
-A INPUT -p tcp -m tcp -j TARPIT

# Дропаем всю фигню
-A INPUT -p udp -j DROP 

COMMIT