Перейти к содержимому

Маршрутизация

Раздел описывает, как встроенный DPI-классификатор ololo-relay выбирает маршрут для каждой сессии, как настраивается раздельная маршрутизация для отдельных клиентов и подсетей, как работает переключение шлюзов при потерях связи и как узел в роли шлюза перехватывает трафик локальной сети без поломки пробросов портов и утечек.

Порядок принятия решения (пассивный L7 DPI на входе)

Для каждого нового TCP-соединения или UDP-сессии точка входа (edge) выполняет легковесный глубокий анализ первого пакета (Deep Packet Inspection) без расшифровки полезной нагрузки — извлекает имя хоста из TLS ClientHello SNI на :443, HTTP Host на :80 или QUIC Initial на udp/443, а также проверяет сигнатуры протоколов P2P — и сопоставляет поток с правилами сверху вниз:

  1. Блокировка (drop) — домен или адрес назначения совпал с маршрутом на встроенный псевдо-узел drop → мгновенный сброс соединения.
  2. Маршруты назначения (routes) — наиболее длинное совпадение суффикса домена, а если его нет — наиболее узкая маска CIDR (LPM) → упорядоченный список выходных узлов правила.
  3. Локальный обход (localhost) — совпадение с маршрутом на localhost (RFC 1918, CGNAT 100.64.0.0/10, .local, .lan) → прямой выход с самого edge в обход mesh.
  4. Раздельная маршрутизация клиентов (client_defaults) — поиск по внутреннему IP-адресу источника клиента (SrcIP) и, если задано, конкретному edge_id. Узкая маска (/32) всегда перекрывает широкую (/24), а правило с явным edge_id при равной маске приоритетнее глобального:
    • если у сработавшего правила включена своя таблица маршрутов (custom_routes: true), шаги 1–3 вычисляются только по персональному списку routes этого правила (общие маршруты кластера не подмешиваются), а остальной трафик идёт в шлюз по умолчанию этого клиента;
    • если включены общие маршруты кластера (custom_routes: false), сначала действуют стандартные маршруты шагов 1–3, а для всего остального трафика применяется персональный шлюз этого клиента.
  5. Общий маршрут по умолчанию (default) — применяется ко всем остальным клиентам и направлениям (relay, direct или drop).

Раздельная маршрутизация клиентов и подсетей (client_defaults)

Позволяет закрепить за отдельным устройством (например 10.8.0.15/32) или целым сегментом сети (172.20.10.0/24) как свой список выходных шлюзов по умолчанию, так и собственную таблицу маршрутов по доменам и CIDR.

Типовые случаи:

  • выделить серверу сборок или отдельному отделу собственный выходной регион, не меняя общий default остальной сети;
  • скопировать стандартные маршруты кластера для конкретной подсети и точечно поменять или убрать пару правил только для неё;
  • выпустить часть локальных машин напрямую (mode: direct) или ограничить им доступ только списком разрешённых маршрутов (mode: drop + своя таблица routes).

В десктоп-админке при создании или редактировании правила кнопка «Скопировать со стандартных» в один клик включает режим своей таблицы маршрутов и переносит в неё копию текущих маршрутов кластера, чтобы не набирать правила и local-bypass с нуля.

Пример в policy.yaml / initial-policy.yaml:

client_defaults:
  - id: "1"
    name: "build-agents"
    sources: ["172.20.10.0/24", "10.8.0.15/32"]
    edge_id: "gw-office-1"       # пусто = на любом edge
    mode: relay
    peers: ["exit-de-1", "exit-nl-1"]
    custom_routes: true
    routes:
      - id: "local-bypass"
        peers: ["localhost"]
        domains: [".local", ".lan"]
        cidrs: ["127.0.0.0/8", "10.0.0.0/8", "172.16.0.0/12", "192.168.0.0/16", "100.64.0.0/10"]
      - id: "1"
        peers: ["exit-fi-1"]
        domains: [".registry.example.com"]

Переключение шлюзов при потерях > 20% и ленивый возврат

В любом правиле со списком выходных узлов (default, client_defaults или routes) порядок узлов задаёт приоритет отказоустойчивости: первый узел (#1) — основной, следующие — резервные.

Как работает автоматика на edge:

  1. Контроль потерь активного шлюза. Узел ведёт скользящее окно из 20 проб (TrafficRelay.Ping раз в 5 с плюс фактические попытки открытия сессий). Потерей считается не только полный таймаут/обрыв, но и одиночная потеря IP-пакета с TCP-ретрансмитом (всплеск RTT свыше max(400ms, 3 × minRTT)). Замер обратно совместим со старыми версиями выходных узлов.
  2. Уход на резерв при потерях > 20%. Как только доля потерь превышает 20% (или падает установление сессии), трафик сразу переключается на следующий живой шлюз в списке (#2, затем #3 и т.д.).
  3. Ленивый пинг шлюза №1 и защита от флапа. Пока трафик идёт через резервный шлюз (#2 или дальше), edge раз в 30 с проверяет серией лёгких пингов основной шлюз #1. Как только связь на #1 восстанавливается (потери <= 20%), трафик возвращается обратно на #1 — но не чаще чем раз в failover_holddown (по умолчанию 3 минуты) с момента последнего переключения, чтобы на нестабильном канале шлюзы не дёргало туда-сюда. Если же сам резервный шлюз отказал раньше истечения удержания, аварийный переход на следующий живой узел выполняется немедленно.

При необходимости пороги переопределяются в /etc/ololo-relay/node.yaml:

edge:
  loss_threshold: 0.20       # порог потерь (0.20 = переключение при > 20%)
  lazy_ping_interval: 30s    # как часто проверять шлюз #1, сидя на резерве
  failover_holddown: 3m      # минимальная пауза перед возвратом на шлюз #1
  max_conn_age: 6m           # средний возраст TCP-соединения пула до бесшовной ротации
  max_conn_age_jitter: 60s   # случайный разброс ±60s (ротация в окне 5..7 мин без разрыва живых загрузок)

Пул постоянных gRPC/HTTP2-соединений edge → exit планово обновляется со случайным разбросом (6m ± 60s, со сдвигом фазы между слотами пула): заранее поднимается свежее соединение, а все активные потоки (включая долгие загрузки и постоянные сессии) бесшовно переезжают на него через ResumeFrame / SwitchLegFrame и сразу освобождают старый TCP-сокет задолго до срабатывания 10-минутных таймаутов пограничных NAT.

Защита выходных узлов от торрентов (block_bittorrent)

По умолчанию в политике кластера включена фильтрация BitTorrent и P2P-трафика (block_bittorrent: true), чтобы торрент-клиент на одном из пользовательских устройств не привёл к блокировке выходного сервера у хостера по жалобам правообладателей.

  • На точке входа (edge) трафик отсекается сразу до отправки в mesh: блокируются характерные порты (6881–6889, 6969, 51413), сигнатуры BitTorrent handshake, DHT, uTP, HTTP/UDP-трекеров и веерный перебор подсетей обфусцированным протоколом MSE/PE (при этом обычные TLS, QUIC, HTTP/WebSocket, SSH, STUN/WebRTC и WireGuard на общих офисных/VPN-шлюзах никогда не задеваются).
  • На выходном узле (exit) работает лёгкая stateless-проверка портов и сигнатур первого пакета без наложения кулдаунов на общий серверный шлюз.

Управлять фильтром на лету можно галкой «Блокировать торренты (BitTorrent / P2P)» в десктоп-админке или через block_bittorrent в политике YAML. Также можно принудительно переопределить поведение на конкретном узле в node.yaml (edge.block_bittorrent / exit.block_bittorrent).

Перехват трафика с интерфейса (capture_iifs)

Параметр capture_iifs направляет весь транзитный трафик с указанного сетевого интерфейса через relay-туннель. Используется, когда на той же машине поднят внутренний интерфейс локальной сети или интерфейс стороннего VPN (OpenVPN / Pritunl / WireGuard).

edge:
  tun:
    name: ololo0
  capture_iifs:
    - tun0

Трафик к локальным адресам (RFC1918: 10.0.0.0/8, 172.16.0.0/12, 192.168.0.0/16; CGNAT: 100.64.0.0/10) через relay не пойдёт — приложение автоматически добавляет правила маршрутизации, которые оставляют эти диапазоны в основной таблице. Через relay уйдёт только трафик к публичным адресам. Все правила удаляются при остановке сервиса (если не включён режим fail_closed, см. ниже).

Пробросы портов на шлюзе (capture_wan_iface)

Если на том же шлюзе настроен проброс портов (внешний клиент → WAN_IP:порт → внутренний сервис через DNAT) и включён capture_iifs по локальному интерфейсу, ответ проброшенного сервиса по умолчанию уйдёт в relay вместо обратного пути через внешний канал — проброс перестанет работать. Причина: ответный пакет приходит на шлюз с локального интерфейса и попадает под то же правило перехвата, а адрес внешнего клиента публичный и под исключение для локальных сетей не подпадает.

Укажите внешний (uplink) интерфейс шлюза — приложение пометит входящие снаружи соединения и вернёт их ответы по основному маршруту:

edge:
  capture_iifs:
    - eth1                     # локальная сеть, трафик которой заворачивается в relay
  capture_wan_iface: eth0      # внешний интерфейс — для корректных пробросов

Исключения по адресу назначения (capture_exclude_dst)

Адреса и подсети, которые шлюз обслуживает сам и которые не нужно заворачивать в relay (публичный адрес самого шлюза, в том числе плавающий VRRP/keepalived-адрес; соседние шлюзы). Эти адреса всегда остаются в основной таблице маршрутизации:

edge:
  capture_exclude_dst:
    - 203.0.113.10/32          # ваш публичный WAN-адрес/VIP

Защита от утечки при сбое relay (fail_closed)

По умолчанию (fail_closed: false), если relay на шлюзе остановился или упал, перехват снимается и трафик клиентов за шлюзом уходит в интернет напрямую с реального адреса шлюза — в обход relay. Для части сценариев это нежелательная утечка.

Режим fail_closed: true включает «глухую блокировку» (kill-switch): в таблицу маршрутизации relay добавляется blackhole-маршрут. Пока relay работает, трафик идёт через него; как только relay падает или перезапускается — не-локальный трафик клиентов отбрасывается, а не утекает напрямую. Локальная сеть при этом продолжает работать.

edge:
  fail_closed: true

Внимание. Это намеренно «жёсткий» режим, и обращаться с ним надо аккуратно:

  • При штатной остановке сервиса (systemctl stop) правила перехвата и blackhole-маршрут не снимаются — клиенты за шлюзом останутся без интернета до повторного запуска relay либо до ручного снятия правил. Это сделано специально (в этом и смысл kill-switch), но об этом легко забыть и «положить» канал целому сегменту.

  • Снять блокировку вручную и вернуть прямой доступ:

    ip route flush table 100
    ip rule del iif <iif> lookup 100 priority 99      # для каждого iif
    ip rule del to 10.0.0.0/8 lookup main priority 98 # и прочие RFC1918
    
  • Не включайте fail_closed на шлюзе, через который идёт ваш собственный управляющий доступ (SSH) из не-локальной сети: при сбое relay вы потеряете связь с этим сервером.