Настройка Nginx multiple reverse proxy для k3s+istio05.10.2023 13:30

Немного воды

Всем читателям, привет! Хочется поделиться своим опытом по созданию Nginx reverse proxy для интересного кейса. Не судите строго, но критике и предложениям буду рад.

Начало

Поступил вызов о необходимости реализации следующего кейса:

  • Есть 1 ip и на него нацелено n доменов

  • Есть n серверов (за NAT)

  • Когда пользователь заходит на домен_1 попадает на сервер_1

  • Когда пользователь заходит на домен_2 попадает на сервер_2

  • Когда пользователь заходит на домен_n попадает на сервер_n

Казалось бы, тривиальная задача… Но не с инфраструктурой которая есть

Немного о инфраструктуре

Из за отсутствия необходимости реверсивного прокси схема инфраструктуры выглядела так как на рис. 1.

рис.1

рис. 1

Естественно, для реализации кейса, необходимо было встроить Nginx в эту схему. Итоговая схема представлена на рис. 2

e453c2cee285cf104dc1dffdae090903.jpg

В целом такая конфигурация не предоставляет собой ничего сложного. Однако если istio настроен и присутствуют политики авторизации будут тонкости, но об этом дальше.

Настройка Nginx reverse proxy

Немного вводных:

  1. ОС виртуализации Centos7

  2. Iptables настроен на полный запрет иных портов кроме 443

  3. Istio нацелен на доменное имя которое соответствует ВМ

Так как у меня ОС Centos7 конфиги http и server будут совмещены. Но важно понимать что если у вас раздельные конфиги как в Ubuntu это так же будет работать. Главное поместить нужный код в нужные места ;)

Итоговый конфиг для nginx выглядит так: 

worker_processes 10;
    events {
    worker_connections 1024;
}
http {
    include mime.types;
    default_type application/octet-stream;
    sendfile on;
    keepalive_timeout 65;
    #ВМ_1
    server {
        server_name test1.domain.ru;
        listen       443 ssl;
        listen [::]:443 ssl;
        ssl_certificate      /home/CERT.crt;
        ssl_certificate_key  /home/CERT.key;
        ssl_session_cache    shared:SSL:1m;
        ssl_session_timeout  5m;
        ssl_protocols        TLSV1.1 TLSV1.2 TLSV1.3;
        ssl_ciphers  HIGH:!aNULL:!MD5;
        ssl_prefer_server_ciphers  on;
        location / {
            proxy_pass https://192.168.0.21;
            proxy_http_version  1.1;
            proxy_cache_bypass  $http_upgrade;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Host  $host;
            proxy_set_header X-Forwarded-Proto $scheme;
            proxy_set_header X-Forwarded-Port  $server_port;
        }
    #ВМ_2
    server {
        server_name test2.domain.ru;
        listen       443 ssl;
        listen [::]:443 ssl;
        ssl_certificate      /home/CERT.crt;
        ssl_certificate_key  /home/CERT.key;
        ssl_session_cache    shared:SSL:1m;
        ssl_session_timeout  5m;
        ssl_protocols        TLSV1.1 TLSV1.2 TLSV1.3;
        ssl_ciphers  HIGH:!aNULL:!MD5;
        ssl_prefer_server_ciphers  on;
        location / {
            proxy_pass https://192.168.0.21;
            proxy_http_version  1.1;
            proxy_cache_bypass  $http_upgrade;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Host  $host;
            proxy_set_header X-Forwarded-Proto $scheme;
            proxy_set_header X-Forwarded-Port  $server_port;
        }
    }
    #ВМ_n
    server {
        server_name testn.domain.ru;
        listen       443 ssl;
        listen [::]:443 ssl;
        ssl_certificate      /home/CERT.crt;
        ssl_certificate_key  /home/CERT.key;
        ssl_session_cache    shared:SSL:1m;
        ssl_session_timeout  5m;
        ssl_protocols        TLSV1.1 TLSV1.2 TLSV1.3;
        ssl_ciphers  HIGH:!aNULL:!MD5;
        ssl_prefer_server_ciphers  on;
        location / {
            proxy_pass https://192.168.0.x;
            proxy_http_version  1.1;
            proxy_cache_bypass  $http_upgrade;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Host  $host;
            proxy_set_header X-Forwarded-Proto $scheme;
            proxy_set_header X-Forwarded-Port  $server_port;
        }
    }
}

Теперь давайте немного разберем основные параметры.

Общий блок:

  • worker_processes — Колличество возможных рабочих процессов при подключении к одному IP. Как правило, на ядро запускается 1 рабочий процесс;

  • worker_processes — Колличество пользователей могут одновременно обслуживаться Nginx;

Блок http {

  • keepalive_timeout — Максимальное время поддержания keepalive-соединения, в случае, если пользователь по нему ничего не запрашивает.

Блок http { server {

  • server_name — Ожидаемое доменное имя по которому будет доступен сервер. Например testn.domain.ru

  • listen — Указывает на порт по которому будет доступен сервер. В случае с https/443 необходимо контролировать наличие подписи ssl в строке.

  • ssl_certificate/ssl_certificate_key — доменнные сертификаты

  • ssl_session_cache — Кеширование сессий. Необходимо для повторного использования ключей, чтобы не повторять хэндшейк.

  • ssl_protocols — Определение возможных TLS протоколов для работы с сервером.

Блок http { server { location / {

ВАЖНО
В случае если у вас есть фронт с url testn.domain.ru/front не получится использовать другие location кроме как корневой (/). Связано с передачей url от nginx на сервер во время proxy. istio будет отбивать такие запросы и rewrite не поможет

  • proxy_pass — Сервер на которое осуществляется проксирование домена, указанного в server_name блока server. 

  • proxy_http_version — Позволяет использовать HTTP/1.1 вместо дефолтного параметра HTTP/1.0

  • proxy_cache_bypass — В нашем случае не отдаются данные об изменении http запроса ($http_upgrade)

  • proxy_set_header — Записывает заголовки для передачи на сервер назначения proxy_pass

Подробнее можете почитать в доках nginx.

Должен отметить что по незнанию к такому конфигу я шел достаточно долго. 3 рабочих дня если быть точным.
Я долго не мог заставить дружить istio и nginx и перелопатил кучу информации. И что в итоге? Самый важный параметр всего этого конфига — это proxy_cache_bypass.

В чем же суть этого proxy_cache_bypass?
proxy_cache_bypass — Задает условия, при которых nginx не станет брать ответ из кэша, а сразу перенаправит запрос на бэкенд. Если хотя бы один из параметров не пустой и не равен »0». Подробнее почитайте вот тут

В итоге у нас получается достаточно гибкая конфигурация прокси сервера которую легко аадминистрировать. Основной изменяемый/удаляемый/добавляемый блок — это блок http { server {

    #ВМ_n
    server {
        server_name testn.domain.ru;
        listen       443 ssl;
        listen [::]:443 ssl;
        ssl_certificate      /home/CERT.crt;
        ssl_certificate_key  /home/CERT.key;
        ssl_session_cache    shared:SSL:1m;
        ssl_session_timeout  5m;
        ssl_protocols        TLSV1.1 TLSV1.2 TLSV1.3;
        ssl_ciphers  HIGH:!aNULL:!MD5;
        ssl_prefer_server_ciphers  on;
        location / {
            proxy_pass https://192.168.0.x;
            proxy_http_version  1.1;
            proxy_cache_bypass  $http_upgrade;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Host  $host;
            proxy_set_header X-Forwarded-Proto $scheme;
            proxy_set_header X-Forwarded-Port  $server_port;
        }
    }

Итоги

На мой взгляд получилась достаточно гибкая конфигурация отвечающая всем условиям кейса. Надеюсь будет полезно. Спасибо за внимание.

© Habrahabr.ru