Mikrotik RB4011iGS+5HacQ2HnD-IN не раздает интернет в локальную сеть

Обсуждение оборудования и его настройки
Ale][
Сообщения: 10
Зарегистрирован: 19 фев 2017, 21:11

14 мар 2019, 20:33

Приветствую.
Несколько лет жил у меня роутер Mikrotik hapAC. Где-то месяц назад приобрел Mikrotik RB4011iGS+5HacQ2HnD-IN. Из коробки прошивка была 6.43.7, обновил до последней на момент покупки 6.43.8 и стал настраивать.
Настраивал по скрипту сделанному из настроек hapAC. Естественно скрипт выполнял только по кускам и только для статичных данных, типа привязки MAC к IP для DHCP. Всё настроил, всё работало, прошил недавно 6.44, эта же проблема осталась на 6.44.1, и столкнулся с глюком следующего плана:
На роутере есть интернет, пинги из консоли нормально проходят куда надо, NTP синхронизируется, OpenVPN тоннель для обхода РКН c поднятом состоянии. Но ни на одном ПК или телефоне подключенном как по проводу, так и по WI-FI абсолютно нет доступа в глобальную сеть. Локальная сеть при этом работает. Не проходит ничего, даже ping 8.8.8.8. Лечится перезагрузкой роутера. Что это вообще может быть и как?
Из настроек:
eth1 подключен к оптическому конвертеру от Ростелеком, и поднят PPPoE тоннель. Конвертер Ростелекома просто в режиме Bridge. IP внешний, статический вижу на интерфейсе PPoE. Все остальные порты в Bridge.
Настроен постоянный коннект к личной VPS по OpenVPN для обхода РКН. Сам обход сделан через пометку трафика в Mangle и заворачивание этого трафика в интерфейс VPN-а.
Настроен WI-FI 2.4 и 5ГГЦ, так же настроены гостевые сети 2.4 и 5ГГц с другой подсетью и шейпером скорости.
Имеется 25 правил в Firewall и 12 правил в NAT. В Firewall в основном, чтобы открыть нужные порты для NAT + Port Knoking для того, чтобы можно было рулить роутером и сервером, стоящим за роутером из удаленного места.
Настроен 6to4 Tunnel через Hurricane Electric.
И самое для меня сложное (в смысле дольше всего настраивал): Настроен отдельный DNS сервер на Raspberry PI, который ходит на 1.1.1.1/1.0.0.1 по DNS over HTTPS и резолвит адреса. На Mikrotik-e DNS сервер прописан как моя Малина и в Firewall запрещен исходящий трафик на 53 порт и по TCP и по UDP.
Логи роутера пишутся на отдельный компьютер через SysLog сервер. При наступлении описанного выше бага в логах нет ничего подозрительного, только Яндекс станция начинает пытаться переподключиться к WI-FI, это у неё всегда так, когда интернета нет. Но это на совести разработчиков от яндекса.
Да, роутер питается через оригинальный Mikrotikовский POE injector. Модель RBGPOE.
Еще есть Watchdog, который пингует сам себя, на случай зависона роутера и скрипт, который тут был на форуме, который запускается каждые 5 минут, проверяет ping на гугл, яндекс, мэйл ру, и перезагружает роутер при отсутствии ping-а от 2-х из 3-х адресов. Но это не помогает, т.к. на роутере интернет в наличии.

Вроде всё описал. Подскажите, в какую сторону хоть копать, если кто сталкивался с подобным.


Аватара пользователя
Vlad-2
Модератор
Сообщения: 1590
Зарегистрирован: 08 апр 2016, 19:19
Откуда: Камчатка
Контактная информация:

15 мар 2019, 03:14

Простите, но наверно отвечу слегка с недовольствием,
Вы настраиваете кучу всего не простого, но у Вас нет Интернета на компах,
это всё равно что специалист в высшей математики не может умножить 3 на 8,
поэтому лишь могу посоветовать:

а) навести порядок и посмотреть где затык, а также я ни раз говорил,
утилиты трасерт и пинг = как отвёрка и молоток, должны быть рядом.
Проверять ими, что да как...

б) я бы на такой роутер переносил конфигурацию по-блочно, то есть
перенёс бы настройки там часть DHCP, часть настроек файрвола,
но не тупо копировал и смотрел что да как....

в) ну и третьим вариантом, после такова сочинения и судя по всему,
Вы явно уже не новичок, я бы на Вашем месте сразу и конфиг показал бы.
Как говорят иногда мои коллеги-программисты, после долгого кодирования,
"глаз замыливается", то есть явные ошибки порой не замечаешь.
Мы бы со своей стороны свежим взглядом посмотрели бы...



На работе(ах): 2xCCR1016-12G, RB3011UiAS и hAP lite (RB941)
Дома: CCR1016-12G, RBcAP2n (standalone), RB wAP LTE kit
Для тестов(под рукой): RB3011UiAS, hAP mini (RB931) и что-то ещё по мелочи
MTCNA
MTCRE
Ale][
Сообщения: 10
Зарегистрирован: 19 фев 2017, 21:11

15 мар 2019, 11:09

Vlad-2:
Спасибо за критику, но хочу немного дополнить.
У меня данный конфиг работал где-то 3 недели стабильно, после покупки роутера, а потом начались глюки. Вообще подозреваю 6.44 версию прошивки. Но 6.44.1 проблему, по всей видимости, не решила, т.к. вчера обновился, но словил уже описанный баг.
По а), да, согласен, tracert можно было бы прогнать, когда (если) повторится такая ситуация, то обязательно проверю, но, думаю, отлуп будет уже на шаге 1, роутере.
По б) Естественно конфиг переносился поблочно, и только статика, типа мак адресов для раздачи IP и разрешения в WI-FI. Я об этом писал в первом посте.
По в) я подозревал, что конфиг попросят, но его надо же вычистить, от паролей, маков и прочего... Дома вчера я не смог этого сделать, т.к. 2 детей мелких, поэтому описал проблему, а конфиг сегодня чистил на работе.
Конфиг почти 400 строк, так что я его на pastebin выложил. Вот ссылка
И еще вчера забыл написать. Когда роутер входит в этот глюк, то он не отвечает на пинги с внешней сети, т.е. он затыкается и наружу тоже, но внутри себя чувствует прекрасно.


Ca6ko
Сообщения: 195
Зарегистрирован: 23 ноя 2018, 11:08

15 мар 2019, 12:02

Ale][ писал(а):
14 мар 2019, 20:33
и перезагружает роутер при отсутствии ping-а от 2-х из 3-х адресов. Но это не помогает, т.к. на роутере интернет в наличии.
Ale][ писал(а):
15 мар 2019, 11:09
И еще вчера забыл написать. Когда роутер входит в этот глюк, то он не отвечает на пинги с внешней сети, т.е. он затыкается и наружу тоже, но внутри себя чувствует прекрасно.
Где-то не стыковка.
Включите подробное логирование. Что в этот момент с интерфейсом. В момент зависания выгрузите supout.rif файл по нему можно анализировать состояние роутера.


RB3011UiAS, RB2011, CRS328, CSS326, cAP ac, wAP ac, hex PoE, RB260GSP, hAP ac lite и hAP lite
Аватара пользователя
Vlad-2
Модератор
Сообщения: 1590
Зарегистрирован: 08 апр 2016, 19:19
Откуда: Камчатка
Контактная информация:

15 мар 2019, 12:45

1) Конфиг солидный, даже где-то через чур. Читать не просто.
1.1) Я поэтому комментарии делаю все на английском, чтобы не было трансформации когда
конфиг смотришь.

2) Я бы отключил все скрипты, я не юзаю скрипты (по итогу которых) мне роутер ребутился бы, зачем??? :sh_ok:
Перегружать железку, которая держит туннели, провайдеров !!! Ошибку, нестыковку надо искать,
а не делать ребут. Роутеры у меня по 35-65 дней работают.
Перезагрузка - это или аварийно, или когда отключают свет в здании или замена прошивки.

3) Утилитами трассерт и пинг можно понять что именно происходит, заранее себе выписать
пару айпишек и при глюке = пинговать по имени домена, и по айпи, вдруг проблема в ДНСе
3.1) Не совсем понимаю усложнение конфигурации, ДНС другой, через другой компьютер?
Зачем?... В этом сегменте не могут быть проблемы? ДНС выдерживает кол-во запросов,
памяти, сессий?

4) IPv6 - реально провайдер даёт или так, на поиграться?

Я пока не могу именно понять что у Вас не так?....



На работе(ах): 2xCCR1016-12G, RB3011UiAS и hAP lite (RB941)
Дома: CCR1016-12G, RBcAP2n (standalone), RB wAP LTE kit
Для тестов(под рукой): RB3011UiAS, hAP mini (RB931) и что-то ещё по мелочи
MTCNA
MTCRE
Ale][
Сообщения: 10
Зарегистрирован: 19 фев 2017, 21:11

15 мар 2019, 17:34

Ca6ko
Нет, не стыковки нет. Может не совсем внятно написал. Скрипт на роутере пингует с роутера 3 адреса, если по 2-м или всем отвал, то перезагружает роутер.
При этом во время бага сам роутер интернет видит прекрасно, т.е. с него через консоль всё пингуется, тоннель держится в поднятом состоянии и т.д.

Я имел в виду, что по пингу моего ВНЕШНЕГО ip из совсем другой сети (4G, с работы) нет ответа от роутера, т.е. он не принимает входящие подключения.
И зависания нет! С локального компьютера я спокойно к нему через WinBox подключаюсь, всё смотрю и т.д.

Vlad-2
Да, трансформация к hex представление русского текста немного напрягает, но это вообще 2-й раз когда я юзаю текстовое представление конфига роутера.
А из WinBox приятнее всё же прочитать "Телевизор в комнате", чем TV in Hall.
Скрипты, которые перезагружают роутер, к сожалению, не работают, сработали бы, я бы и не парился, т.к. сеть чисто моя личная, так сказать. А не работают они по причине, что на самом роутере интернет есть, нет в локалке за роутером и роутер не принимает входящие подключения...
Про DNS отдельная песня... Ростелеком флудит рекламой иногда через подмену DNS адреса, т.е. хочу я к примеру на 4pda.ru, а мне открывается какое-нибудь их супер предложение (и только их, из чего можно предположить, что это они). Слезать с прова, если честно не хочу Оптику на 300Мбит в квартиру у меня в доме только они дают и цена адекватная. Я это терпел пол года, пока не придумал эту схему. Думаю, что она тут не при чем, т.к. нет коннекта по IP ни снаружи, ни изнутри.
IPv6 пров не дает, через Hurricane Electric Free IPv6 Tunnel Broker пускаю. Но его я отключал. Глюк воспроизводился.

Я уже подумываю на домашний сервер какой-нибудь Watchdog повесить, типа тоже с опросом нескольких адресов, нет ответа, перезагружаем роутер с компа. Благо class library на C# для отправки команд на роутер уже пару лет назад написана.


Аватара пользователя
Vlad-2
Модератор
Сообщения: 1590
Зарегистрирован: 08 апр 2016, 19:19
Откуда: Камчатка
Контактная информация:

15 мар 2019, 17:57

Кстати, сейчас прочитал про рекламу от Ростелекома,
да, у нас тоже такое было, вроде сейчас убрали.
И тоже была проблема такова характера, текущие сессии работали,
но (постараюсь именно донести), рекламу вклинивали, и пока
в браузере не нажмёшь кнопку - ничего не произойдёт.
Снаружи точно так, попасть не мог, сессия есть, туннель есть,
пинг идёт, но поток данных = нету его.
(как будто на паузе передача стоит) :-)

Я не знаю как и что, конечно ругались, жалобы писали, потом
вроде через личные связи админы РТК для нас (местных админов)
так или иначе которые видны в городе = сделали исключения (убрали из
такой типа рассылки), ну и в целом пока у других людей тоже давно не вижу.
(года 2-3 тихо пока, как раз оптика пришла в наш Край, пока тишина)
А да, по "шапке" они хорошо ещё получили, когда такое произошло с
юриками, было шумно.

Так что Ваш рассказ мне как раз это напомнил, и роутер тут не виноват (может быть,
хотя была бы у Вас конфиг попроще, было проще это диагностировать).
В любом случаи, попробуйте не рубить сплеча, а передёрнуть сессию,
убить в таблице Connections сессии активные, на крайний случай на 1-2минуты
поменяйте МАК на интерфейсе где рррое настроен, предварительно на 30-40 сек
интерфейс (физически) отключить, обождать обновления таблиц у провайдера,
включить интерфейс и с "новым" МАКом поработать.

Да и жалоба с Вашей стороны тоже будет не лишней, обычно кол-центр
у Ростелекома радеет и активно участвует.
(Если есть IPTV косвенно можете сослаться на неё, вернее что услуга якобы плохо работает).
В своё время, меня на тариф не хотели переводить (точнее не хотели поставить на перевод),
местная (ещё тогда была поддержка), написал через ЛК Ростелекома претензию,
через 40 минут мне позвонили, занесли в списки перевода на новый скоростной
тариф с 1-го числа.

P.S.
Попробуйте ещё и TTL'ем прикрыться.



На работе(ах): 2xCCR1016-12G, RB3011UiAS и hAP lite (RB941)
Дома: CCR1016-12G, RBcAP2n (standalone), RB wAP LTE kit
Для тестов(под рукой): RB3011UiAS, hAP mini (RB931) и что-то ещё по мелочи
MTCNA
MTCRE
Ale][
Сообщения: 10
Зарегистрирован: 19 фев 2017, 21:11

15 мар 2019, 20:44

Vlad-2
Спасибо за интересную информацию.
Про такой вариант, именно с РТ у нас, в Питере не слышал. Воспроизведется баг, попробую вручную провернуть финт с отключением интерфейса, сменой мака и сбросом всех подключений, если, конечно, дома буду. Поможет если, то можно и скриптом такое навоять будет, но... по какому событию его запускать. Придется тогда точно WatchDog на сервер домашний вешать.


Аватара пользователя
podarok66
Модератор
Сообщения: 3143
Зарегистрирован: 11 фев 2012, 18:49
Откуда: МО

15 мар 2019, 21:38

Не, простите, но такой конфиг надо в выходной, под чай с бутерами читать. Для беглого изучения жестковато. Я бы снёс всё совсем и руками по кусочку настраивал. Сначала базу, потом хотелки от простых к сложным с перерывами в несколько дней между дополнениями. Слишком много зависимостей выползает. Вот только глаз резануло:

Код: Выделить всё

/interface ovpn-client
add add-default-route=yes certificate=MikrotikOpenVPNClientCert connect-to=\
    xx.xx.xx.xx mac-address=XX:XX:XX:XX:XX:XX name=External_OVPN port=xxxx \
    user=xxxxx
это точно add-default-route=yes ? Обычно мы маршруты руками вписываем с нужными дистанциями...


Мануалы изучил и нигде не ошибся? Фаервол отключил? Очереди погасил? Витая пара проверена? ... Тогда Netinstal'ом железку прошей и настрой ее заново. Что, все равно не фурычит? Тогда к нам. Если не подскажем, хоть посочувствуем...
Аватара пользователя
Vlad-2
Модератор
Сообщения: 1590
Зарегистрирован: 08 апр 2016, 19:19
Откуда: Камчатка
Контактная информация:

16 мар 2019, 07:19

podarok66 писал(а):
15 мар 2019, 21:38
Не, простите, но такой конфиг надо в выходной, под чай с бутерами читать.
Красиво подобрали слова.
Это точно. Конфиг огромный, плюс там ещё и убраны повторяющие моменты.
(посмотрел мой конфиг - более 1750 строк :sh_ok: , и это без динамических адрес-листов
от файрвола). :smu:sche_nie:
podarok66 писал(а):
15 мар 2019, 21:38
Я бы снёс всё совсем и руками по кусочку настраивал. Сначала базу, потом хотелки от простых к сложным с перерывами в несколько дней между дополнениями.
Тут тоже соглашусь, даже мне пару раз свои настройки приходилось переделывать, менялась логика,
условия, отделялись сети, надо было более правильно описать, поэтому кроме сделать чтобы заработать,
потом наступал момент, когда сделанное надо ещё красиво оформить, или красиво-логично.
Чтобы потом, через 2-3 месяца или даже через полгода понятно было что это и зачем.
Но в целом обычно из-за роста сетей, маршрутов приходиться как-то менять логику,
увеличивать адрес-листы и адрес-листы интерфейсов и так далее.
И на счёт "базы" согласен.

P.S. (оффтопик)
И часто вижу/читаю как люди обходят блокировки.
Я видимо ленивый, я делаю проще, у меня тоже, как и у algerka есть CHR (VPS за бугром),
только я не делаю адрес-лист сайтов и не гоню по запросу туда,
я просто загоняю свою машину(комп, по серому локальному IP) сразу в маркированный этот маршрут,
смотрящий на/в CHR, и поэтому нет ни списков, ни их обновления и актуализация, не думать что и как.
А для заказчи, торрентов у меня крутиться виртуалка (Вин10) - если надо, её закинул
в этот "канал c CHR" и пусть качает.



На работе(ах): 2xCCR1016-12G, RB3011UiAS и hAP lite (RB941)
Дома: CCR1016-12G, RBcAP2n (standalone), RB wAP LTE kit
Для тестов(под рукой): RB3011UiAS, hAP mini (RB931) и что-то ещё по мелочи
MTCNA
MTCRE
Ответить