Перейти к содержимому

Раскатка через Ansible без внешнего мастера

В инфраструктурных и корпоративных контурах управляющий интерфейс кластера не обязан торчать наружу, а запуск и работа узлов не должны зависеть от внешней связности с мастер-сервером или установленной десктоп-админки. Вся конфигурация ololo-relay сводится к двум YAML-файлам, поэтому кластер штатно раскатывается через Ansible из Git-репозитория.

Ниже разобраны две рабочие схемы без публикации управляющего контура наружу:

  1. Полностью без мастера (local_policy) — мастер-узла и ControlPlane в сети нет вообще; источником правды служит декларативный /etc/ololo-relay/policy.yaml, который раскладывает Ansible.
  2. Закрытый мастер во внутреннем контуре / на 127.0.0.1 — управляющий порт слушает только loopback или закрытую management-подсеть, правки накатываются плейбуком локально по SSH без перезапуска туннелей, а узлы держат на диске policy.snapshot и переживают рестарт даже при полной недоступности мастера.

Схема 1. Декларативный кластер без мастера (local_policy)

Если политика маршрутизации меняется через Git и ревью (Infrastructure as Code), выделенный мастер-узел и админка не нужны:

  • на всех узлах (edge и exit) в /etc/ololo-relay/node.yaml указывается local_policy: /etc/ololo-relay/policy.yaml;
  • открытые токены узлов хранятся только в Ansible Vault; в сам policy.yaml попадают исключительно их SHA-256-хэши, вычисленные на стороне контроллера Ansible;
  • на точках входа (edge) в node.yaml передаётся собственный node.master_token этого узла — именно его edge предъявляет выходным узлам (exit) при установлении защищённых gRPC/TLS-потоков TrafficRelay;
  • точки входа (edge) в офисе или домашней сети вообще не требуют входящих портов и публичных IP — наружу по 443/tcp смотрят только выходные узлы (exit).

Структура каталога Ansible

ansible-relay/
├── inventory/
│   ├── hosts.yml
│   └── group_vars/
│       └── all/
│           ├── relay.yml        # маршруты, узлы, публичные параметры
│           └── vault.yml        # зашифрованные raw-токены (ansible-vault)
├── files/                       # (опционально) локальные .deb/.rpm для закрытых сетей
├── templates/
│   ├── policy.yaml.j2
│   └── node.yaml.j2
└── site.yml

Инвентарь и переменные (hosts.yml, relay.yml, vault.yml)

inventory/hosts.yml:

all:
  children:
    relay_nodes:
      hosts:
        gw-office-1:
          ansible_host: 10.10.0.1
          relay_id: gw-office-1
          relay_roles: { edge: true, exit: false }
          relay_tun_address: "100.64.0.1/32"
          relay_capture_iifs: ["eth1"]
          relay_capture_wan_iface: "eth0"
        exit-eu-1:
          ansible_host: 198.51.100.20
          relay_id: exit-eu-1
          relay_roles: { edge: false, exit: true }
          relay_public_addr: "exit-eu-1.example.com:443"
          relay_cert_file: "/etc/letsencrypt/live/exit-eu-1.example.com/fullchain.pem"
          relay_key_file: "/etc/letsencrypt/live/exit-eu-1.example.com/privkey.pem"
        exit-asia-1:
          ansible_host: 203.0.113.45
          relay_id: exit-asia-1
          relay_roles: { edge: false, exit: true }
          relay_public_addr: "exit-asia-1.example.com:443"
          relay_cert_file: "/etc/letsencrypt/live/exit-asia-1.example.com/fullchain.pem"
          relay_key_file: "/etc/letsencrypt/live/exit-asia-1.example.com/privkey.pem"

Зашифрованный inventory/group_vars/all/vault.yml (ansible-vault create ...):

# Сгенерировать токен: openssl rand 32 | base64 | tr '+/' '-_' | tr -d '=\n'
vault_relay_tokens:
  gw-office-1: "9fK2...ваш_32_байтный_base64url_токен"
  exit-eu-1:   "4mP8...ваш_32_байтный_base64url_токен"
  exit-asia-1: "7xR1...ваш_32_байтный_base64url_токен"

Общая политика маршрутов inventory/group_vars/all/relay.yml:

relay_offline_install: false     # true — ставить из локального каталога files/ без выхода на repo.ololo.tech
relay_block_bittorrent: true

relay_routes:
  - id: "local-bypass"
    peers: ["localhost"]
    domains: [".local", ".lan", ".corp.internal"]
    cidrs: ["127.0.0.0/8", "10.0.0.0/8", "172.16.0.0/12", "192.168.0.0/16", "100.64.0.0/10"]
  - id: "partner-api-asia"
    peers: ["exit-asia-1", "exit-eu-1"]
    domains: [".api-partner.example", ".settlement.example"]
  - id: "qa-staging-eu"
    peers: ["exit-eu-1", "exit-asia-1"]
    domains: [".staging-eu.example.org"]

relay_default:
  mode: direct                   # всё остальное уходит напрямую со шлюза (или relay через список узлов)
  peers: []

Шаблоны конфигурации

templates/policy.yaml.j2 — единый снимок политики; на серверы попадают только SHA-256 от токенов:

version: 1
block_bittorrent: {{ relay_block_bittorrent | bool | lower }}

peers:
{% for host in groups['relay_nodes'] %}
{% set hv = hostvars[host] %}
  - id: {{ hv.relay_id }}
    kind: server
    admin: false
    roles:
      master: false
      edge: {{ hv.relay_roles.edge | bool | lower }}
      exit: {{ hv.relay_roles.exit | bool | lower }}
    token_sha256: "{{ vault_relay_tokens[hv.relay_id] | hash('sha256') }}"
{% if hv.relay_public_addr is defined %}
    addrs: ["{{ hv.relay_public_addr }}"]
    exit_listen: "0.0.0.0:443"
    camouflage:
      mode: embedded
{% endif %}
{% if hv.relay_tun_address is defined %}
    tun_address: "{{ hv.relay_tun_address }}"
    tun_mtu: {{ hv.relay_tun_mtu | default(1420) }}
{% endif %}
{% endfor %}

routes:
  {{ relay_routes | to_nice_yaml(indent=2) | indent(2) }}

default:
  mode: {{ relay_default.mode }}
{% if relay_default.peers %}
  peers: {{ relay_default.peers | to_json }}
{% endif %}

templates/node.yaml.j2 — индивидуальный конфиг конкретного узла:

node:
  id: {{ relay_id }}
  data_dir: /var/lib/ololo-relay
{% if relay_roles.edge %}
  master_token: "{{ vault_relay_tokens[relay_id] }}"
{% endif %}

local_policy: /etc/ololo-relay/policy.yaml

{% if relay_roles.edge %}
edge:
  tun:
    name: ololo0
{% if relay_capture_iifs is defined %}
  capture_iifs: {{ relay_capture_iifs | to_json }}
{% endif %}
{% if relay_capture_wan_iface is defined %}
  capture_wan_iface: "{{ relay_capture_wan_iface }}"
{% endif %}
  fail_closed: {{ relay_fail_closed | default(false) | bool | lower }}
{% endif %}

{% if relay_roles.exit %}
exit:
  dial_timeout: 5s
  tls:
    cert_file: {{ relay_cert_file }}
    key_file:  {{ relay_key_file }}
{% endif %}

observability:
  log_level: info

Плейбук с поочерёдной выкаткой и офлайн-режимом (site.yml)

serial: 1 гарантирует, что при обновлении политики или пакета узлы перезапускаются строго по одному — точки входа с резервными шлюзами (exit-eu-1, exit-asia-1) переносят сессии без простоя для пользователей:

---
- name: Deploy masterless ololo-relay mesh
  hosts: relay_nodes
  become: true
  serial: 1

  tasks:
    - name: Install ololo-relay from offline package (air-gapped mode)
      when: relay_offline_install | bool
      block:
        - name: Copy local .deb package
          ansible.builtin.copy:
            src: "ololo-relay_amd64.deb"
            dest: "/tmp/ololo-relay_amd64.deb"
            mode: "0644"
          when: ansible_os_family == "Debian"

        - name: Install local .deb package
          ansible.builtin.apt:
            deb: "/tmp/ololo-relay_amd64.deb"
          when: ansible_os_family == "Debian"

    - name: Configure official APT repository (online mode)
      when: not (relay_offline_install | bool) and ansible_os_family == "Debian"
      block:
        - name: Ensure /etc/apt/keyrings exists
          ansible.builtin.file:
            path: /etc/apt/keyrings
            state: directory
            mode: "0755"

        - name: Install repository GPG key
          ansible.builtin.shell: |
            curl -fsSL https://repo.ololo.tech/pubkey.asc | gpg --batch --yes --dearmor -o /etc/apt/keyrings/ololo-relay.gpg
          args:
            creates: /etc/apt/keyrings/ololo-relay.gpg

        - name: Add ololo-relay APT source
          ansible.builtin.copy:
            dest: /etc/apt/sources.list.d/ololo-relay.list
            content: "deb [signed-by=/etc/apt/keyrings/ololo-relay.gpg] https://repo.ololo.tech/apt stable main\n"
            mode: "0644"
          register: apt_repo

        - name: Install ololo-relay
          ansible.builtin.apt:
            name: ololo-relay
            state: present
            update_cache: "{{ apt_repo.changed }}"

    - name: Render declarative policy.yaml
      ansible.builtin.template:
        src: templates/policy.yaml.j2
        dest: /etc/ololo-relay/policy.yaml
        owner: root
        group: ololo-relay
        mode: "0640"
      notify: Restart ololo-relay

    - name: Render node.yaml (0640 root:ololo-relay to protect edge token)
      ansible.builtin.template:
        src: templates/node.yaml.j2
        dest: /etc/ololo-relay/node.yaml
        owner: root
        group: ololo-relay
        mode: "0640"
      no_log: true
      notify: Restart ololo-relay

    - name: Ensure ololo-relay is enabled and running
      ansible.builtin.systemd:
        name: ololo-relay
        enabled: true
        state: started

  handlers:
    - name: Restart ololo-relay
      ansible.builtin.systemd:
        name: ololo-relay
        state: restarted

Запуск раскатки:

ansible-playbook -i inventory/hosts.yml site.yml --ask-vault-pass

Схема 2. Закрытый мастер во внутренней сети или на 127.0.0.1

Если хочется менять маршруты на лету без перезапуска сервисов и видеть онлайн-телеметрию узлов, но при этом не публиковать мастер-узел в интернет:

  1. Мастер слушает только закрытый интерфейс. Задайте в node.yaml мастера master.listen: "10.99.0.1:9443" (адрес внутри вашей сервисной подсети / WireGuard / корпоративного VLAN с внутренним CA) либо строго 127.0.0.1:9443 (режим H2C на loopback без открытых внешних портов):
    master:
      listen: "127.0.0.1:9443"
      data_file: /var/lib/ololo-relay/policy.bbolt
      initial_policy_file: /etc/ololo-relay/initial-policy.yaml
    
  2. Узлы не зависят от доступности мастера на старте. Каждый узел при первой же синхронизации сохраняет /var/lib/ololo-relay/policy.snapshot. Даже если служебная сеть до мастера временно лежит или мастер выключен на обслуживание, edge- и exit-узлы штатно перезапускаются и маршрутизируют трафик по последнему снимку.
  3. Эпизодическое подключение десктоп-админки через SSH-туннель. Если инженеру нужно временно поправить маршруты или посмотреть живой поток сессий в ololo-relay-admin, открывать порт на файрволе не требуется — достаточно пробросить локальный порт по SSH:
    ssh -N -L 9443:127.0.0.1:9443 deploy@10.10.0.1
    
    В настройках кластера ololo-relay-admin укажите адрес мастера h2c://127.0.0.1:9443 и админ-токен — после закрытия SSH-сессии внешний доступ к ControlPlane снова физически отсутствует.