VRRP и асимметричный трафик

[Sergey-SAS]

Всем добра,
Строю отказоустойчивое ядро сети на базе двух CCR2004-1G-12S+2XS и двух CRS326-24G-2S+ (скорее всего 326 буду менять на CRS317-1G-16S+RM). Просто пока 326 есть и для общей схемы нет почти никакой разницы - пока это стенд и скорость не так важна.
Топология следующая:
Ядро L2 - два подключенные между собой двумя RJ45 в Bounding 802.3ad
Ядро L3 - два CCR2004 на каждом из которых Bonding из 2 портов SFP+ в режиме Active-Backup подключены к каждому CRS326.
Определены около 10 VLAN + 2 VLAN для WAN.
Интернет приходит от 2 провайдеров 2 кабелями витой пары. Повесил на порты untagged и подключил в 326 каждый в свой VLAN (vlan88-wan и vlan99-wan).
На коммутаторах ядра CRS326 общий bridge на котором все эти vlan. Все они прокинуты по trunk портам между собой и на каждый CCR2004. Интерфейс поднять только на 1 управляющем vlan. На остальных vlan нет ip.
На роутерах CCR2004 нет bridge. VLAN подняты непосредственно на Bounding1.
Для каждого vlan на CCR2004 задан ip с масой той сети, которая живет в vlan (например 10.11.0.0/16).
Настроен VRRP - для каждого VLAN:
vlan10 - CCR2004-1 10.10.0.2, CCR2004-2 10.10.0.3, VRRP-vlan10 10.10.0.1
VRRP задан с маской 32. Для примера:
;;; wan
2 10.10.8.104/22 10.10.8.0 vlan99-wan main
;;; wan vrrp
3 10.10.8.106/32 10.10.8.106 vrrp-wan main
И так для всех vlan.

ядро L2 занимается коммутацией трафика внутри каждого vlan.
ядро L3 маршрутизирует меж vlan трафик, NAT, Firewall и QoS.

Все это работает когда все VRRP привязаны к одному CCR. Т.е. если CCR2004-1 работает и приоритеты VRRP на нем больше на всех vlan.

Как только я хочу балансировать и переводить некоторые VLAN на второй CCR2004-2, то все начинает странно работать. Что-то бегает, но тот же CRS326 не дает установить соединение (выдает ошибку или вообще не соединяется).

для примера мне надо попасть в vlan11 из vlan10. При этом VRRP ip для vlan10 поднят на CCR-1 (10.10.0.1 привязан к 10.10.0.2), а для vlan11 поднят на CCR-2 (10.11.0.1 привязан к 10.11.0.3).
Тогда пакет идет из 11 в 10 так
клиент -> 10.11.0.1 (приходит на CCR-2) -> 10.10.0.3 (находит там ip интерфейса 10 vlan) -> 10.10.x.x
А обратно идет своим 10 vlan на CCR-1 так
10.10.x.x -> 10.10.0.1 -> 10.11.0.2 --> клиент.
Получается асимметрия....

Везде версия 7.23.2 (и на CCR и CRS).

Кроме того в процессе настройки src-nat выяснил, что трафик уходит с интерфейса vlan99-wan, а приходит на интерфейс VRRP-vlan99. Этот эффект как раз проявился после прошивки на 7.23.2 (до этого была 7.16 или 7.19).

Очевидно, что при моих каналах и нагрузке это не критично и все реально может быть на одном CCR и второй просто в режиме backup. Но хотелось бы понять. Скорее всего я чего то не понял и настроил не совсем корректно.

С Уважением,
Сергей

[Erik_U]

Клиенты у вас куда подключены?

Классическое VRRP это когда 2 роутера подключены к одному коммутатору. И VRRP работает для клиентов, подключенных к этому коммутатору. При том, что все другие IP сети для этих клиентов находятся за роутерами. И они все есть и за первым и за вторым. И поднимается VRRP на тех портах роутеров, которыми они подключены к этому одному коммутатору.

Вы что резервируете? Ваш VRRP на двух CCR2004-1G-12S+2XS? А CRS326-24G-2S+ выполняют роль коммутаторов?