Вопрос по режиму работы Nic Teaming и выбору железа

Обсуждение общих вопросов, не касающихся настройки оборудования и ОС
Ответить
Alex.Deroza
Сообщения: 2
Зарегистрирован: 24 фев 2019, 20:31

05 июн 2021, 13:05

Два физических сервера, каждый имеет по 4 порта 1000 Мбит/с, я планирую объединить порты при помощи стандарта агрегации каналов. Однако опыта в этом никогда не было. В связи с чем почитал инфу по этой теме(Nic Teaming), встал в замешательство.

Цель этой агрегации: увеличить пропускную способность ввода-вывода между серверами, на уровне ОДНОГО коммутатора под управлением маршрутизатора.

Опыт у меня только в настройке домашнего роутера, но этого хватает для понимания ситуации на уровне одной сети. Маршрутизацией я не занимался. В связи с этим у меня ступор в плане понимания как маршрутизатор должен функционировать с коммутатором. Как настроить их для того, чтобы обеспечить эффективную работу режима агрегации на уровне внутренней сети.

Я разобрался в режимах агрегации и понимаю, что благодаря стандарту LACP получу желаемый результат указанный в целях агрегации. Согласно этому, предполагаю что примерная конфигурация на mikrotik будет выглядеть следующим образом: с каждого сервера объединяю на КОММУТАТОРЕ по 4 линка в режим bonding, затем пихаю эти bonds в bridge. И тут дальше-то и возникает проблема, а как это должно работать потом? Какой уровень используется для этого? Канальный, сетевой? Т.е. для каждой же группы линков нет надобности создавать отдельную подсеть, назначать линку адрес? И по результатам этой реализации, какую роль вообще играет МАРШРУТИЗАТОР? И как к нему подключается КОММУТАТОР, надо ли между ними делать агрегацию канала связи(вот почему я спрашивал про IP уровень)?


xvo
Сообщения: 2599
Зарегистрирован: 25 фев 2018, 22:41
Откуда: Москва

06 июн 2021, 19:44

Мой ответ на этот ваш вопрос смотрите на ixbt.


Дома: [CCR1009-7G-1C-1S+] [CRS112-8P-4S-IN] [wAP ac] [RB260GS]
Не дома: [RB4011iGS+] [CRS326-24G-2S+RM] [wAP 60ad] [cAP ac]...
...[hEX] [hAP ac²] [hAP ac lite] [hAP mini] [RB260GS]
KARaS'b
Сообщения: 1190
Зарегистрирован: 29 сен 2011, 09:16

06 июн 2021, 21:36

Судя по термину "Nic Teaming", смею предположить, что речь идет о виндовых серверах, если угадал, то вам вообще ничего не нужно со стороны сетевого оборудования, винда умеет очень хорошо агрегировать каналы самостоятельно. Со стороны микротика, или вообще любого свича, вам ничего не надо, просто закиньте на серверах нужное количество портов в группу и все, ос сама все сделает.


Alex.Deroza
Сообщения: 2
Зарегистрирован: 24 фев 2019, 20:31

07 июн 2021, 07:35

KARaS'b писал(а):
06 июн 2021, 21:36
Судя по термину "Nic Teaming", смею предположить, что речь идет о виндовых серверах, если угадал, то вам вообще ничего не нужно со стороны сетевого оборудования, винда умеет очень хорошо агрегировать каналы самостоятельно. Со стороны микротика, или вообще любого свича, вам ничего не надо, просто закиньте на серверах нужное количество портов в группу и все, ос сама все сделает.
Да, я использую Windows Server 2019 Essentials. Понимаю, что ОС имеет некий функционал для организации bonding. По этому сейчас пытаюсь выявить грабли, которые потом будут лупить меня по лбу ;) Дело в том, что я впервые сталкиваюсь с решением подобной задачи и совершенно не понимаю как это работает. Почему-то думал, что на коммутаторах порты тоже должны быть в группе соответствующего стандарта как и на серверах.

Схема у меня такая:
  • Сервер-1 - 4х1Гбитс
  • Сервер-2 - 4х1Гбитс
Эти сервера включаются в коммутатор(CRS326-24G-2S+RM), к которому также включается:
  • NAS(QNAP TS-431P2-1G) - 4х1Гбитс
  • рабочая станция 4х1Гбитс(так же в режиме NT) или 5Гбитс прямой линк на Router
Я пытаюсь добиться передачи ~4Гбитс в режиме RR на уровне коммутатора для схемы:
  • сервер-сервер
  • сервер-нас
  • сервер-клиент
  • клиент-нас
Однако сейчас я не уверен, что Windows способна на Round-Robin.
Описание параметров Nic Teaming говорит о следующем режиме Static, LACP:
  • Исходящий трафик распределяется между всеми активными адаптерами группы
  • Входящий трафик будет перенаправляться
    в соответствии с алгоритмом распределения нагрузки, который реализован в коммутаторе
Последняя фраза увела меня на изучение аспектов работы bonding на коммутаторах. И она по сути подтверждает совет, который дает мне xvo на ixbt. Но реализация того, о чем он говорит, является не моим уровнем компетенции.. :ps_ih:

P.S. о linux я вообще молчу, физически нет времени с ним возится.. в любом случае мне нужна будет консультация специалиста mikrotik, поскольку видно что тема сложная и требует привлечения эксперта для решения этой проблемы.


xvo
Сообщения: 2599
Зарегистрирован: 25 фев 2018, 22:41
Откуда: Москва

07 июн 2021, 08:46

Как я и предполагал: https://wiki.mikrotik.com/wiki/Manual:C ... es#Bonding
Only 802.3ad and balance-xor bonding modes are hardware offloaded, other bonding modes will use the CPU's resources.
Так что RR с участием коммутатора (напрмер когда в него входит по 10гб линку, а должно уйти через бонд) не получить.

Так что лучший вариант не настраивать на нем бондинг вообще, а попытаться "подружить" сервера с каким-нибудь adaptive load balancing на NAS'е.

Если не взлетит - везде выставлять balance-xor/static и курить, как выбрать нужный алгоритм хэширования (на свитче выставить l3+l4), на НАСе возможно оно выведено в GUI, возможно надо править конфиг (на synology так). Про виндовые машины не скажу.

Цитата из статьи на хабре по вашей ссылке:
Хэш может вычисляться на основе следующих значений:
  • MAC-адрес отправителя и получателя;
  • IP-адрес отправителя и получателя (2-tuple hash);
  • TCP-порт отправителя и получателя и IP-адрес отправителя и получателя (4-tuple hash).
Вот интересен именно третий пункт.
Тогда как минимум многопоточные соединения можно будет распараллелить.


Дома: [CCR1009-7G-1C-1S+] [CRS112-8P-4S-IN] [wAP ac] [RB260GS]
Не дома: [RB4011iGS+] [CRS326-24G-2S+RM] [wAP 60ad] [cAP ac]...
...[hEX] [hAP ac²] [hAP ac lite] [hAP mini] [RB260GS]
Ответить