Раскатка через Ansible без внешнего мастера
В инфраструктурных и корпоративных контурах управляющий интерфейс кластера не обязан торчать наружу, а запуск и работа узлов не должны зависеть от внешней связности с мастер-сервером или установленной десктоп-админки. Вся конфигурация ololo-relay сводится к двум YAML-файлам, поэтому кластер штатно раскатывается через Ansible из Git-репозитория.
Ниже разобраны две рабочие схемы без публикации управляющего контура наружу:
- Полностью без мастера (
local_policy) — мастер-узла и ControlPlane в сети нет вообще; источником правды служит декларативный/etc/ololo-relay/policy.yaml, который раскладывает Ansible. - Закрытый мастер во внутреннем контуре / на
127.0.0.1— управляющий порт слушает только loopback или закрытую management-подсеть, правки накатываются плейбуком локально по SSH без перезапуска туннелей, а узлы держат на дискеpolicy.snapshotи переживают рестарт даже при полной недоступности мастера.
Схема 1. Декларативный кластер без мастера (local_policy)
Если политика маршрутизации меняется через Git и ревью (Infrastructure as Code), выделенный мастер-узел и админка не нужны:
- на всех узлах (
edgeиexit) в/etc/ololo-relay/node.yamlуказываетсяlocal_policy: /etc/ololo-relay/policy.yaml; - открытые токены узлов хранятся только в Ansible Vault; в сам
policy.yamlпопадают исключительно ихSHA-256-хэши, вычисленные на стороне контроллера Ansible; - на точках входа (
edge) вnode.yamlпередаётся собственныйnode.master_tokenэтого узла — именно егоedgeпредъявляет выходным узлам (exit) при установлении защищённых gRPC/TLS-потоковTrafficRelay; - точки входа (
edge) в офисе или домашней сети вообще не требуют входящих портов и публичных IP — наружу по443/tcpсмотрят только выходные узлы (exit).
Структура каталога Ansible
ansible-relay/
├── inventory/
│ ├── hosts.yml
│ └── group_vars/
│ └── all/
│ ├── relay.yml # маршруты, узлы, публичные параметры
│ └── vault.yml # зашифрованные raw-токены (ansible-vault)
├── files/ # (опционально) локальные .deb/.rpm для закрытых сетей
├── templates/
│ ├── policy.yaml.j2
│ └── node.yaml.j2
└── site.yml
Инвентарь и переменные (hosts.yml, relay.yml, vault.yml)
inventory/hosts.yml:
all:
children:
relay_nodes:
hosts:
gw-office-1:
ansible_host: 10.10.0.1
relay_id: gw-office-1
relay_roles: { edge: true, exit: false }
relay_tun_address: "100.64.0.1/32"
relay_capture_iifs: ["eth1"]
relay_capture_wan_iface: "eth0"
exit-eu-1:
ansible_host: 198.51.100.20
relay_id: exit-eu-1
relay_roles: { edge: false, exit: true }
relay_public_addr: "exit-eu-1.example.com:443"
relay_cert_file: "/etc/letsencrypt/live/exit-eu-1.example.com/fullchain.pem"
relay_key_file: "/etc/letsencrypt/live/exit-eu-1.example.com/privkey.pem"
exit-asia-1:
ansible_host: 203.0.113.45
relay_id: exit-asia-1
relay_roles: { edge: false, exit: true }
relay_public_addr: "exit-asia-1.example.com:443"
relay_cert_file: "/etc/letsencrypt/live/exit-asia-1.example.com/fullchain.pem"
relay_key_file: "/etc/letsencrypt/live/exit-asia-1.example.com/privkey.pem"
Зашифрованный inventory/group_vars/all/vault.yml (ansible-vault create ...):
# Сгенерировать токен: openssl rand 32 | base64 | tr '+/' '-_' | tr -d '=\n'
vault_relay_tokens:
gw-office-1: "9fK2...ваш_32_байтный_base64url_токен"
exit-eu-1: "4mP8...ваш_32_байтный_base64url_токен"
exit-asia-1: "7xR1...ваш_32_байтный_base64url_токен"
Общая политика маршрутов inventory/group_vars/all/relay.yml:
relay_offline_install: false # true — ставить из локального каталога files/ без выхода на repo.ololo.tech
relay_block_bittorrent: true
relay_routes:
- id: "local-bypass"
peers: ["localhost"]
domains: [".local", ".lan", ".corp.internal"]
cidrs: ["127.0.0.0/8", "10.0.0.0/8", "172.16.0.0/12", "192.168.0.0/16", "100.64.0.0/10"]
- id: "partner-api-asia"
peers: ["exit-asia-1", "exit-eu-1"]
domains: [".api-partner.example", ".settlement.example"]
- id: "qa-staging-eu"
peers: ["exit-eu-1", "exit-asia-1"]
domains: [".staging-eu.example.org"]
relay_default:
mode: direct # всё остальное уходит напрямую со шлюза (или relay через список узлов)
peers: []
Шаблоны конфигурации
templates/policy.yaml.j2 — единый снимок политики; на серверы попадают только SHA-256 от токенов:
version: 1
block_bittorrent: {{ relay_block_bittorrent | bool | lower }}
peers:
{% for host in groups['relay_nodes'] %}
{% set hv = hostvars[host] %}
- id: {{ hv.relay_id }}
kind: server
admin: false
roles:
master: false
edge: {{ hv.relay_roles.edge | bool | lower }}
exit: {{ hv.relay_roles.exit | bool | lower }}
token_sha256: "{{ vault_relay_tokens[hv.relay_id] | hash('sha256') }}"
{% if hv.relay_public_addr is defined %}
addrs: ["{{ hv.relay_public_addr }}"]
exit_listen: "0.0.0.0:443"
camouflage:
mode: embedded
{% endif %}
{% if hv.relay_tun_address is defined %}
tun_address: "{{ hv.relay_tun_address }}"
tun_mtu: {{ hv.relay_tun_mtu | default(1420) }}
{% endif %}
{% endfor %}
routes:
{{ relay_routes | to_nice_yaml(indent=2) | indent(2) }}
default:
mode: {{ relay_default.mode }}
{% if relay_default.peers %}
peers: {{ relay_default.peers | to_json }}
{% endif %}
templates/node.yaml.j2 — индивидуальный конфиг конкретного узла:
node:
id: {{ relay_id }}
data_dir: /var/lib/ololo-relay
{% if relay_roles.edge %}
master_token: "{{ vault_relay_tokens[relay_id] }}"
{% endif %}
local_policy: /etc/ololo-relay/policy.yaml
{% if relay_roles.edge %}
edge:
tun:
name: ololo0
{% if relay_capture_iifs is defined %}
capture_iifs: {{ relay_capture_iifs | to_json }}
{% endif %}
{% if relay_capture_wan_iface is defined %}
capture_wan_iface: "{{ relay_capture_wan_iface }}"
{% endif %}
fail_closed: {{ relay_fail_closed | default(false) | bool | lower }}
{% endif %}
{% if relay_roles.exit %}
exit:
dial_timeout: 5s
tls:
cert_file: {{ relay_cert_file }}
key_file: {{ relay_key_file }}
{% endif %}
observability:
log_level: info
Плейбук с поочерёдной выкаткой и офлайн-режимом (site.yml)
serial: 1 гарантирует, что при обновлении политики или пакета узлы перезапускаются строго по одному — точки входа с резервными шлюзами (exit-eu-1, exit-asia-1) переносят сессии без простоя для пользователей:
---
- name: Deploy masterless ololo-relay mesh
hosts: relay_nodes
become: true
serial: 1
tasks:
- name: Install ololo-relay from offline package (air-gapped mode)
when: relay_offline_install | bool
block:
- name: Copy local .deb package
ansible.builtin.copy:
src: "ololo-relay_amd64.deb"
dest: "/tmp/ololo-relay_amd64.deb"
mode: "0644"
when: ansible_os_family == "Debian"
- name: Install local .deb package
ansible.builtin.apt:
deb: "/tmp/ololo-relay_amd64.deb"
when: ansible_os_family == "Debian"
- name: Configure official APT repository (online mode)
when: not (relay_offline_install | bool) and ansible_os_family == "Debian"
block:
- name: Ensure /etc/apt/keyrings exists
ansible.builtin.file:
path: /etc/apt/keyrings
state: directory
mode: "0755"
- name: Install repository GPG key
ansible.builtin.shell: |
curl -fsSL https://repo.ololo.tech/pubkey.asc | gpg --batch --yes --dearmor -o /etc/apt/keyrings/ololo-relay.gpg
args:
creates: /etc/apt/keyrings/ololo-relay.gpg
- name: Add ololo-relay APT source
ansible.builtin.copy:
dest: /etc/apt/sources.list.d/ololo-relay.list
content: "deb [signed-by=/etc/apt/keyrings/ololo-relay.gpg] https://repo.ololo.tech/apt stable main\n"
mode: "0644"
register: apt_repo
- name: Install ololo-relay
ansible.builtin.apt:
name: ololo-relay
state: present
update_cache: "{{ apt_repo.changed }}"
- name: Render declarative policy.yaml
ansible.builtin.template:
src: templates/policy.yaml.j2
dest: /etc/ololo-relay/policy.yaml
owner: root
group: ololo-relay
mode: "0640"
notify: Restart ololo-relay
- name: Render node.yaml (0640 root:ololo-relay to protect edge token)
ansible.builtin.template:
src: templates/node.yaml.j2
dest: /etc/ololo-relay/node.yaml
owner: root
group: ololo-relay
mode: "0640"
no_log: true
notify: Restart ololo-relay
- name: Ensure ololo-relay is enabled and running
ansible.builtin.systemd:
name: ololo-relay
enabled: true
state: started
handlers:
- name: Restart ololo-relay
ansible.builtin.systemd:
name: ololo-relay
state: restarted
Запуск раскатки:
ansible-playbook -i inventory/hosts.yml site.yml --ask-vault-pass
Схема 2. Закрытый мастер во внутренней сети или на 127.0.0.1
Если хочется менять маршруты на лету без перезапуска сервисов и видеть онлайн-телеметрию узлов, но при этом не публиковать мастер-узел в интернет:
- Мастер слушает только закрытый интерфейс. Задайте в
node.yamlмастераmaster.listen: "10.99.0.1:9443"(адрес внутри вашей сервисной подсети / WireGuard / корпоративного VLAN с внутренним CA) либо строго127.0.0.1:9443(режим H2C на loopback без открытых внешних портов):master: listen: "127.0.0.1:9443" data_file: /var/lib/ololo-relay/policy.bbolt initial_policy_file: /etc/ololo-relay/initial-policy.yaml - Узлы не зависят от доступности мастера на старте. Каждый узел при первой же синхронизации сохраняет
/var/lib/ololo-relay/policy.snapshot. Даже если служебная сеть до мастера временно лежит или мастер выключен на обслуживание,edge- иexit-узлы штатно перезапускаются и маршрутизируют трафик по последнему снимку. - Эпизодическое подключение десктоп-админки через SSH-туннель. Если инженеру нужно временно поправить маршруты или посмотреть живой поток сессий в
ololo-relay-admin, открывать порт на файрволе не требуется — достаточно пробросить локальный порт по SSH:В настройках кластераssh -N -L 9443:127.0.0.1:9443 deploy@10.10.0.1ololo-relay-adminукажите адрес мастераh2c://127.0.0.1:9443и админ-токен — после закрытия SSH-сессии внешний доступ к ControlPlane снова физически отсутствует.