Несколько ISP и туннели.

u3max · 22 янв 2019, 11:49

Есть головной офис (далее ГО), есть 4 филиала (дплее Ф).
ГО - 2 провайдера
Ф1 - 2 провайдера
Ф2 - 2 провайдера
Ф3 - 2 провайдера
Ф4 - 1 провайдер

IP адреса везде белые. Хочется настроить балансировку, чтобы задействовать весь ресурс каналов провайдеров.
Необходимы туннели между ГО и Ф*.

Когда везде было по одному провайдеру проблем небыло, всё работало на IPSEC.
Сейчас завёл второй канал и понял что это какой-то секас...
Маркирую пакеты вот так:

В route list прописаны два маршрута на 0.0.0.0 с routing mark из маркировки выше.
Если включаю в route list правило с на 0.0.0.0 route mark mixed, страницы не открываются вообще. Корявая реализация?

Не понятно как поступить с туннелями... Они должны обеспечивать резервирование на случай падения канала провайдера. Попробовал через GRE, ведёт себя как-то странно, то не устанавливается туннель, то не на тот канал...
Не знаю на сколько правильна реализация с gre и одновременными туннелями, ведь получается что между двумя точками, на которых по два провайдера, надо поддерживать 4 туннеля одновременно.

Направьте или ткните? :)
Спасибо!

Sertik · 22 янв 2019, 13:14

Увы, уважаемый друг, над подобной проблемой бьюсь гораздо дольше чем Вы. С Балансировкой не так всё просто. Боюсь, что у Вас ничего не выйдет или выйдет что-то корявое. Одно дело "простая" настройка Микротика и совсем другое сложные виды настроек.

Есть довольно не много людей (не только тут, а и в стране), которые реально хорошо разбираются в настройке на несколько каналов. Если Вы не из их числа (а были бы из них не спрашивали бы), то либо нужно долго учиться (и возможно лучше бы на сертифицированных курсах и то как повезет с преподавателем, но всё же) либо заказать платную настройку балансировки заранее продумав до мелочей тех. задание (т.к. Вас тоже могут "обуть" в лапти, т.к. всех своих хотелок Вы заранее не знаете, а выясниться это всё потом ...).

u3max · 22 янв 2019, 13:54

Т.е Вы хотите сказать что эти несколько человек настраивает оборудование всей России, или, мало кто пользуется балансировкой?

22 янв 2019, 14:06

1) Вы смешали каналы, туннели и доступы в Интернет
2) Да, порой между двумя офисами с двумя доступами в Интернет так и получается, что 4 туннеля
3) когда используется в таблице маршрутизации сразу два шлюза, то это называется ECMP, оно не идеально.
Есть видео где-то, где описывается его минусы
4) Я бы пока на Вашем месте сконцентрировался на создании туннелей и их приоритетности. Откатали бы схему,
логику. Если у Вас статические адреса, вообще подарок. Я бы не использовал ECMP как он есть,
а делал бы туннель один, потом туннель два, и делал им приоритет, туннел1 имеет дистанцию 1, туннель2 имеет
дистанцию 2, опять же надо использовать опцию keep alive для быстрого понятия что роутер/туннель недоступен.

Нюансов много.....и мелочей, в этом Sertik прав

Sertik · 22 янв 2019, 15:10

Я говорил о людях, которые "реально хорошо разбираются в балансировке" - то есть могут всё настроить с нуля руками и объяснить каждое действие, понимая путь следования пакетов и соединений в роутере, в том числе меченных. Кроме того, насколько я понял, "универсального рецепта", который бы даже пусть избыточно учел бы все нюансы просто нет. Не зря даже сертифицированные тренеры Микротик, в том числе "выросшие" из весьма талантливых молодых сетевиков, хакеров, програмистов - кого хотите, занимаются этой проблемой не один год, совершенствуя свои же схемы.
Можете, например, посмотреть работы Кирилла Васильева (не трудно найти в Интернете), в том числе проследить так сказать его "творческий путь" по балансировке в динамике - как выглядели его "рецепты" скажем лет пять назад и к чему он пришел сейчас - разные вещи. Роутер ОС кстати тоже развивается и в ней меняются некоторые механизмы и инструменты от которых, в частности, зависит и этот вопрос.

Конечно, не несколько людей в России настраивают балансировку на Микротике - но именно по их "рецептам" всё и делается ибо большинство не понимают реально как всё по настоящему работает, а в основном либо копируют либо всё равно деёствуют на основе чего-то ранее сделанного ...

Возможно всё можно сделать, но это стоит хороших денег и делается думаю не быстро и всё равно на основе каких-то заранее существующих и оттачиваемых не один год заготовок ....

В том числе думаю, что реально балансировкой пользуются не так много ... Кроме того, зависит очень что понимается под балансировкой - если просто выход трафика пользователей в Интернет - это одно, а если пытаетесь учесть в балансировке работу VPN, проброс портов, разные виды тоннелей, да еще у Вас есть связи с другими роутерами в сети - их бы не нарушить и прочее ... то сложностей существует масса.

Впрочем тут на форуме есть знающие люди (ко мне это никак не относится, я новичок, тем более в балансировке можно сказать полный ноль ...).

P/S Кстати "слышал звон" что маркировать в цепочке input при балансировке это уже считается не правильным и устаревшим действием ... (знатоки пусть поправят если чушь говорю). Маркировать нужно в prerouting и output. А на последнем МУМе еще и на Row перешли ...

Вообще если взять последнюю презнетацию Васильева, то "волосы шевелятся" ... какой-то loop-back пустой бридж, исключение внутрисетевого трафика сетей BOGONS и т.д... Другие тренеры (например, Скоромнов Дмитрий (создатель ресурса Микротик Ветрикс), говорит, что сети BOGONS - это чушь вообще и этой проблемы не существует ... Кого слушать и куда бедному крестьянину податься ....

u3max · 22 янв 2019, 18:24

Vlad-2 писал(а): ↑22 янв 2019, 14:06 1) Вы смешали каналы, туннели и доступы в Интернет
2) Да, порой между двумя офисами с двумя доступами в Интернет так и получается, что 4 туннеля
3) когда используется в таблице маршрутизации сразу два шлюза, то это называется ECMP, оно не идеально.
Есть видео где-то, где описывается его минусы
4) Я бы пока на Вашем месте сконцентрировался на создании туннелей и их приоритетности. Откатали бы схему,
логику. Если у Вас статические адреса, вообще подарок. Я бы не использовал ECMP как он есть,
а делал бы туннель один, потом туннель два, и делал им приоритет, туннел1 имеет дистанцию 1, туннель2 имеет
дистанцию 2, опять же надо использовать опцию keep alive для быстрого понятия что роутер/туннель недоступен.

Нюансов много.....и мелочей, в этом Sertik прав

Это понятно, про ECMP, PCC и прочие типы балансировки знаю. Используя один ISP в один момент времени настроить туннель с переключением по различным условиям смогу.
Если универсальных рецептов на балансировку нет и это, как все говорят, так страшно, так и придётся делать...

Sertik писал(а): ↑22 янв 2019, 15:10 Я говорил о людях, которые "реально хорошо разбираются в балансировке" - то есть могут всё настроить с нуля руками и объяснить каждое действие, понимая путь следования пакетов и соединений в роутере, в том числе меченных. Кроме того, насколько я понял, "универсального рецепта", который бы даже пусть избыточно учел бы все нюансы просто нет. Не зря даже сертифицированные тренеры Микротик, в том числе "выросшие" из весьма талантливых молодых сетевиков, хакеров, програмистов - кого хотите, занимаются этой проблемой не один год, совершенствуя свои же схемы.
Можете, например, посмотреть работы Кирилла Васильева (не трудно найти в Интернете), в том числе проследить так сказать его "творческий путь" по балансировке в динамике - как выглядели его "рецепты" скажем лет пять назад и к чему он пришел сейчас - разные вещи. Роутер ОС кстати тоже развивается и в ней меняются некоторые механизмы и инструменты от которых, в частности, зависит и этот вопрос.

Конечно, не несколько людей в России настраивают балансировку на Микротике - но именно по их "рецептам" всё и делается ибо большинство не понимают реально как всё по настоящему работает, а в основном либо копируют либо всё равно деёствуют на основе чего-то ранее сделанного ...

Возможно всё можно сделать, но это стоит хороших денег и делается думаю не быстро и всё равно на основе каких-то заранее существующих и оттачиваемых не один год заготовок ....

В том числе думаю, что реально балансировкой пользуются не так много ... Кроме того, зависит очень что понимается под балансировкой - если просто выход трафика пользователей в Интернет - это одно, а если пытаетесь учесть в балансировке работу VPN, проброс портов, разные виды тоннелей, да еще у Вас есть связи с другими роутерами в сети - их бы не нарушить и прочее ... то сложностей существует масса.

Впрочем тут на форуме есть знающие люди (ко мне это никак не относится, я новичок, тем более в балансировке можно сказать полный ноль ...).

P/S Кстати "слышал звон" что маркировать в цепочке input при балансировке это уже считается не правильным и устаревшим действием ... (знатоки пусть поправят если чушь говорю). Маркировать нужно в prerouting и output. А на последнем МУМе еще и на Row перешли ...

Вообще если взять последнюю презнетацию Васильева, то "волосы шевелятся" ... какой-то loop-back пустой бридж, исключение внутрисетевого трафика сетей BOGONS и т.д... Другие тренеры (например, Скоромнов Дмитрий (создатель ресурса Микротик Ветрикс), говорит, что сети BOGONS - это чушь вообще и этой проблемы не существует ... Кого слушать и куда бедному крестьянину податься ....

У меня по prerouting маркировано в спойлере, т.к. цепочка input после маршрутизации, пакет уже прошел маршрутизацию и далее соединение будет без маркировки.
А так у Вас всё философски написано, красиво, спасибо! ))

23 янв 2019, 04:19

u3max писал(а): ↑22 янв 2019, 11:49
Направьте или ткните? :)
Спасибо!

оу, классная задача. Прямо одна из любимых ибо прямо пришлось потратить пару часов времени. Когда я столкнулся с той же ситуацией (на ГРЕ правда) я не мог понять че не так то, че оно как то странно работает а т.к. это все же был заказ то клиента подвести нельзя.

В общем направляю

Лучше всего эту проблему разбирать на ГРЕ, оно там удобнее, потом полученный опыт на ипсек перенесете. В общем поднимайте гре (парочку) и смотрите ip - firewall - connections Весьма занятная картина но если в нее вникнуть то появляется а голове и решение данной проблемы

PS: ну и не забываем отключить fasttrack connections

23 янв 2019, 04:36

vqd писал(а): ↑23 янв 2019, 04:19 Лучше всего эту проблему разбирать на ГРЕ, оно там удобнее, потом полученный опыт на ипсек перенесете. В общем поднимайте гре (парочку) и смотрите ip - firewall - connections Весьма занятная картина но если в нее вникнуть то появляется а голове и решение данной проблемы

А явно, конкретно можно? С примерами?
Всё таки тема достаточно специфична, не частая, сложная.....для большинства.

P.S.
Нет, я пойму (частично

) если не расскажите, понимаю, бизнес,мани-мани...как ни как...

23 янв 2019, 04:56

Vlad-2 писал(а): ↑23 янв 2019, 04:36 А явно, конкретно можно? С примерами?

Да в принципе можно. нужно только стенд собрать. Давайте так, к вечеру не разберетесь достану из загашников пару микротиков и скидаю стенд

Но я думаю что анализ соединений сам по себе ответит на все вопросы ну и https://wiki.mikrotik.com/wiki/Manual:Packet_Flow

23 янв 2019, 05:54

vqd писал(а): ↑23 янв 2019, 04:56 Да в принципе можно. нужно только стенд собрать. Давайте так, к вечеру не разберетесь достану из загашников пару микротиков и скидаю стенд

Не хочу показаться "ламером", но я за честность и прямолинейность

.
Увы, наверно месяцев 4-6 я не могу (периодически конечно) пытаюсь понять, как правильно юзать 2 туннеля с двух разных провайдеров
на стороне А и два туннеля и два разных провайдеров на стороне Б, также есть глюки, когда два туннеля
со стороны А (два провайдера) приходят на сторону Б, где всего один канал, но два туннеля.

Поэтому не прошу делать за нас туннели, умеем, умеем маркировать, но проблема узкого характера,
и глюков при таком вышеописанном взаимодействии есть у меня. И если я не путаю, то и у
пользователя KARaS'b тоже было что-то в этом роде.

Думаю многим узкая тонкая явная тематика по решению проблемы с двумя туннелями - очень поможет.
Надеюсь на Вашу помощь.

Со своей стороны тоже могу поставить CHR, могу и железку подключить, могу взять(заюзать) один реальный IP,
могу сделать пару тестов со стороны Владивостока и Москвы (но аккуратно).
Так что если нужен "диалог" при лабораторных работах, и для усвоения = готов помочь.
Главное осталось найти общее время стыковки.

Но я думаю что анализ соединений сам по себе ответит на все вопросы ну и https://wiki.mikrotik.com/wiki/Manual:Packet_Flow
[/quote]
Увы, для меня это как Китайская грамота, сложно, честно признаюсь...
Да и скорее всего, (хотя и теорию TCP/IP знаю) скорее всего чего не вижу или малоопытен...

Стыдно, не умею, не знаю, но прошу показать, провести мастер-класс и научить...

Несколько ISP и туннели.

Вход • Регистрация