Маршрутизация
Раздел описывает, как встроенный DPI-классификатор ololo-relay выбирает
маршрут для каждой сессии, как настраивается раздельная маршрутизация для
отдельных клиентов и подсетей, как работает переключение шлюзов при потерях
связи и как узел в роли шлюза перехватывает трафик локальной сети без поломки
пробросов портов и утечек.
Порядок принятия решения (пассивный L7 DPI на входе)
Для каждого нового TCP-соединения или UDP-сессии точка входа (edge)
выполняет легковесный глубокий анализ первого пакета (Deep Packet Inspection)
без расшифровки полезной нагрузки — извлекает имя хоста из TLS ClientHello
SNI на :443, HTTP Host на :80 или QUIC Initial на udp/443, а также
проверяет сигнатуры протоколов P2P — и сопоставляет поток с правилами сверху вниз:
- Блокировка (
drop) — домен или адрес назначения совпал с маршрутом на встроенный псевдо-узелdrop→ мгновенный сброс соединения. - Маршруты назначения (
routes) — наиболее длинное совпадение суффикса домена, а если его нет — наиболее узкая маска CIDR (LPM) → упорядоченный список выходных узлов правила. - Локальный обход (
localhost) — совпадение с маршрутом наlocalhost(RFC 1918, CGNAT100.64.0.0/10,.local,.lan) → прямой выход с самогоedgeв обход mesh. - Раздельная маршрутизация клиентов (
client_defaults) — поиск по внутреннему IP-адресу источника клиента (SrcIP) и, если задано, конкретномуedge_id. Узкая маска (/32) всегда перекрывает широкую (/24), а правило с явнымedge_idпри равной маске приоритетнее глобального:- если у сработавшего правила включена своя таблица маршрутов (
custom_routes: true), шаги 1–3 вычисляются только по персональному спискуroutesэтого правила (общие маршруты кластера не подмешиваются), а остальной трафик идёт в шлюз по умолчанию этого клиента; - если включены общие маршруты кластера (
custom_routes: false), сначала действуют стандартные маршруты шагов 1–3, а для всего остального трафика применяется персональный шлюз этого клиента.
- если у сработавшего правила включена своя таблица маршрутов (
- Общий маршрут по умолчанию (
default) — применяется ко всем остальным клиентам и направлениям (relay,directилиdrop).
Раздельная маршрутизация клиентов и подсетей (client_defaults)
Позволяет закрепить за отдельным устройством (например 10.8.0.15/32)
или целым сегментом сети (172.20.10.0/24) как свой список выходных
шлюзов по умолчанию, так и собственную таблицу маршрутов по доменам
и CIDR.
Типовые случаи:
- выделить серверу сборок или отдельному отделу собственный выходной регион, не меняя общий
defaultостальной сети; - скопировать стандартные маршруты кластера для конкретной подсети и точечно поменять или убрать пару правил только для неё;
- выпустить часть локальных машин напрямую (
mode: direct) или ограничить им доступ только списком разрешённых маршрутов (mode: drop+ своя таблицаroutes).
В десктоп-админке при создании или редактировании правила
кнопка «Скопировать со стандартных» в один клик включает режим своей
таблицы маршрутов и переносит в неё копию текущих маршрутов кластера,
чтобы не набирать правила и local-bypass с нуля.
Пример в policy.yaml / initial-policy.yaml:
client_defaults:
- id: "1"
name: "build-agents"
sources: ["172.20.10.0/24", "10.8.0.15/32"]
edge_id: "gw-office-1" # пусто = на любом edge
mode: relay
peers: ["exit-de-1", "exit-nl-1"]
custom_routes: true
routes:
- id: "local-bypass"
peers: ["localhost"]
domains: [".local", ".lan"]
cidrs: ["127.0.0.0/8", "10.0.0.0/8", "172.16.0.0/12", "192.168.0.0/16", "100.64.0.0/10"]
- id: "1"
peers: ["exit-fi-1"]
domains: [".registry.example.com"]
Переключение шлюзов при потерях > 20% и ленивый возврат
В любом правиле со списком выходных узлов (default, client_defaults
или routes) порядок узлов задаёт приоритет отказоустойчивости: первый
узел (#1) — основной, следующие — резервные.
Как работает автоматика на edge:
- Контроль потерь активного шлюза. Узел ведёт скользящее окно из 20 проб (
TrafficRelay.Pingраз в 5 с плюс фактические попытки открытия сессий). Потерей считается не только полный таймаут/обрыв, но и одиночная потеря IP-пакета с TCP-ретрансмитом (всплеск RTT свышеmax(400ms, 3 × minRTT)). Замер обратно совместим со старыми версиями выходных узлов. - Уход на резерв при потерях > 20%. Как только доля потерь превышает
20%(или падает установление сессии), трафик сразу переключается на следующий живой шлюз в списке (#2, затем#3и т.д.). - Ленивый пинг шлюза №1 и защита от флапа. Пока трафик идёт через резервный шлюз (
#2или дальше),edgeраз в30 спроверяет серией лёгких пингов основной шлюз#1. Как только связь на#1восстанавливается (потери<= 20%), трафик возвращается обратно на#1— но не чаще чем раз вfailover_holddown(по умолчанию 3 минуты) с момента последнего переключения, чтобы на нестабильном канале шлюзы не дёргало туда-сюда. Если же сам резервный шлюз отказал раньше истечения удержания, аварийный переход на следующий живой узел выполняется немедленно.
При необходимости пороги переопределяются в /etc/ololo-relay/node.yaml:
edge:
loss_threshold: 0.20 # порог потерь (0.20 = переключение при > 20%)
lazy_ping_interval: 30s # как часто проверять шлюз #1, сидя на резерве
failover_holddown: 3m # минимальная пауза перед возвратом на шлюз #1
max_conn_age: 6m # средний возраст TCP-соединения пула до бесшовной ротации
max_conn_age_jitter: 60s # случайный разброс ±60s (ротация в окне 5..7 мин без разрыва живых загрузок)
Пул постоянных gRPC/HTTP2-соединений edge → exit планово обновляется со случайным разбросом (6m ± 60s, со сдвигом фазы между слотами пула): заранее поднимается свежее соединение, а все активные потоки (включая долгие загрузки и постоянные сессии) бесшовно переезжают на него через ResumeFrame / SwitchLegFrame и сразу освобождают старый TCP-сокет задолго до срабатывания 10-минутных таймаутов пограничных NAT.
Защита выходных узлов от торрентов (block_bittorrent)
По умолчанию в политике кластера включена фильтрация BitTorrent и P2P-трафика
(block_bittorrent: true), чтобы торрент-клиент на одном из пользовательских
устройств не привёл к блокировке выходного сервера у хостера по жалобам правообладателей.
- На точке входа (
edge) трафик отсекается сразу до отправки в mesh: блокируются характерные порты (6881–6889,6969,51413), сигнатуры BitTorrent handshake, DHT, uTP, HTTP/UDP-трекеров и веерный перебор подсетей обфусцированным протоколом MSE/PE (при этом обычные TLS, QUIC, HTTP/WebSocket, SSH, STUN/WebRTC и WireGuard на общих офисных/VPN-шлюзах никогда не задеваются). - На выходном узле (
exit) работает лёгкая stateless-проверка портов и сигнатур первого пакета без наложения кулдаунов на общий серверный шлюз.
Управлять фильтром на лету можно галкой «Блокировать торренты (BitTorrent / P2P)»
в десктоп-админке или через block_bittorrent в политике YAML. Также можно принудительно переопределить поведение на конкретном узле
в node.yaml (edge.block_bittorrent / exit.block_bittorrent).
Перехват трафика с интерфейса (capture_iifs)
Параметр capture_iifs направляет весь транзитный трафик с указанного
сетевого интерфейса через relay-туннель. Используется, когда на той же
машине поднят внутренний интерфейс локальной сети или интерфейс
стороннего VPN (OpenVPN / Pritunl / WireGuard).
edge:
tun:
name: ololo0
capture_iifs:
- tun0
Трафик к локальным адресам (RFC1918: 10.0.0.0/8, 172.16.0.0/12,
192.168.0.0/16; CGNAT: 100.64.0.0/10) через relay не пойдёт —
приложение автоматически добавляет правила маршрутизации, которые
оставляют эти диапазоны в основной таблице. Через relay уйдёт только
трафик к публичным адресам. Все правила удаляются при остановке сервиса
(если не включён режим fail_closed, см. ниже).
Пробросы портов на шлюзе (capture_wan_iface)
Если на том же шлюзе настроен проброс портов (внешний клиент →
WAN_IP:порт → внутренний сервис через DNAT) и включён
capture_iifs по локальному интерфейсу, ответ проброшенного сервиса
по умолчанию уйдёт в relay вместо обратного пути через внешний канал —
проброс перестанет работать. Причина: ответный пакет приходит на шлюз
с локального интерфейса и попадает под то же правило перехвата, а адрес
внешнего клиента публичный и под исключение для локальных сетей не
подпадает.
Укажите внешний (uplink) интерфейс шлюза — приложение пометит входящие снаружи соединения и вернёт их ответы по основному маршруту:
edge:
capture_iifs:
- eth1 # локальная сеть, трафик которой заворачивается в relay
capture_wan_iface: eth0 # внешний интерфейс — для корректных пробросов
Исключения по адресу назначения (capture_exclude_dst)
Адреса и подсети, которые шлюз обслуживает сам и которые не нужно заворачивать в relay (публичный адрес самого шлюза, в том числе плавающий VRRP/keepalived-адрес; соседние шлюзы). Эти адреса всегда остаются в основной таблице маршрутизации:
edge:
capture_exclude_dst:
- 203.0.113.10/32 # ваш публичный WAN-адрес/VIP
Защита от утечки при сбое relay (fail_closed)
По умолчанию (fail_closed: false), если relay на шлюзе остановился
или упал, перехват снимается и трафик клиентов за шлюзом уходит в
интернет напрямую с реального адреса шлюза — в обход relay. Для
части сценариев это нежелательная утечка.
Режим fail_closed: true включает «глухую блокировку» (kill-switch):
в таблицу маршрутизации relay добавляется blackhole-маршрут. Пока relay
работает, трафик идёт через него; как только relay падает или
перезапускается — не-локальный трафик клиентов отбрасывается, а не
утекает напрямую. Локальная сеть при этом продолжает работать.
edge:
fail_closed: true
Внимание. Это намеренно «жёсткий» режим, и обращаться с ним надо аккуратно:
При штатной остановке сервиса (
systemctl stop) правила перехвата и blackhole-маршрут не снимаются — клиенты за шлюзом останутся без интернета до повторного запуска relay либо до ручного снятия правил. Это сделано специально (в этом и смысл kill-switch), но об этом легко забыть и «положить» канал целому сегменту.Снять блокировку вручную и вернуть прямой доступ:
ip route flush table 100 ip rule del iif <iif> lookup 100 priority 99 # для каждого iif ip rule del to 10.0.0.0/8 lookup main priority 98 # и прочие RFC1918Не включайте
fail_closedна шлюзе, через который идёт ваш собственный управляющий доступ (SSH) из не-локальной сети: при сбое relay вы потеряете связь с этим сервером.