[BbDNS] Блокировка 'плохих' сайтов средствами DNS

Выкладываем здесь готовые конфигурации под определенные типовые задачи
Аватара пользователя
Dragon_Knight
Модератор
Сообщения: 1525
Зарегистрирован: 26 мар 2012, 18:21
Откуда: МО, Мытищи
Контактная информация:

[BbDNS] Блокировка 'плохих' сайтов средствами DNS

Сообщение Dragon_Knight » 23 мар 2016, 16:25

Всем привет.

Представляю Вашему вниманию скрипт блокировки плохих сайтов средствами DNS сервера в RouterOS.
Скрипт представляет собой установщик большого кол-ва статических записей DNS сервера, которые перенаправляют 'плохие' домены на адрес 127.0.0.1, что во первых Блокирует много рекламы, вирусные сайты, сайты отслеживающие Ваше поведение в сети и т.д, и во вторых ускоряют загрузку страницы и немного уменьшают общий трафик.

Для запуска и установки необходимо загрузить распакованные файлы в Ваш роутер, открыть консоль и выполнить команду "import file-name=BbDNS_Install.rsc". Установка происходит продолжительное время. После установки, файлы с Вашего роутера можно удалить.
Для удаление необходимо загрузить распакованный файл 'BbDNS_Uninstall.rsc' (если он был удалён) в Ваш роутер, открыть консоль и выполнить команду "import file-name=BbDNS_Uninstall.rsc". После удаления, файлы с Вашего роутера можно удалить.

Актуальная версия: 28.03.2016г.
Количество записей: 15198шт.

!!! ВНИМАНИЕ !!!
По сообщениям некоторых пользователей, после установки скрипта роутер перестаёт запускаться и требуется переустановки OS средствами NetInstall.
И хотя мне не удалось повторить проблему на нескольких железках, я должен сказать что я не несу никакой ответственности за возможные проблемы. Всё устанавливаете на свой страх и риск.
Вложения
BbDNS.zip
(101.46 КБ) 129 скачиваний

Помощь в ремонте настройке оборудования MikroTik, Мытищи, Москва.
Дома: [RouterBOARD CCR1009-8G-1S-1S+] + [RouterBOARD cAP 2n] + [RouterBOARD Groove A-2Hn-32] + [D-Link ANT24-0800];
Работа 1: [RouterBOARD RB493G] + [MikroTik R52H] + [MikroTik CA493] + [D-Link ANT24-0800] + [RouterBOARD SXT G-2HnD];
Работа 2: [RouterBOARD RB2011UiAS-IN];
Резерв: [RouterBOARD RB450G];
podarok66
Модератор
Сообщения: 3303
Зарегистрирован: 11 фев 2012, 18:49
Откуда: МО

Re: [BbDNS] Блокировка 'плохих' сайтов средствами DNS

Сообщение podarok66 » 23 мар 2016, 21:32

Ого, 15 тысяч записей. Недетский труд...
Мануалы изучил и нигде не ошибся? Фаервол отключил? Очереди погасил? Витая пара проверена? ... Тогда Netinstal'ом железку прошей и настрой ее заново. Что, все равно не фурычит? Тогда к нам. Если не подскажем, хоть посочувствуем...
Аватара пользователя
Dragon_Knight
Модератор
Сообщения: 1525
Зарегистрирован: 26 мар 2012, 18:21
Откуда: МО, Мытищи
Контактная информация:

Re: [BbDNS] Блокировка 'плохих' сайтов средствами DNS

Сообщение Dragon_Knight » 24 мар 2016, 00:41

podarok66, гугл + скрипт на php + час ожидания. Вот и весь труд)

Помощь в ремонте настройке оборудования MikroTik, Мытищи, Москва.
Дома: [RouterBOARD CCR1009-8G-1S-1S+] + [RouterBOARD cAP 2n] + [RouterBOARD Groove A-2Hn-32] + [D-Link ANT24-0800];
Работа 1: [RouterBOARD RB493G] + [MikroTik R52H] + [MikroTik CA493] + [D-Link ANT24-0800] + [RouterBOARD SXT G-2HnD];
Работа 2: [RouterBOARD RB2011UiAS-IN];
Резерв: [RouterBOARD RB450G];
Аватара пользователя
Dragon_Knight
Модератор
Сообщения: 1525
Зарегистрирован: 26 мар 2012, 18:21
Откуда: МО, Мытищи
Контактная информация:

Re: [BbDNS] Блокировка 'плохих' сайтов средствами DNS

Сообщение Dragon_Knight » 22 янв 2017, 05:19

Итак, решил обновить свой скрипт, и столкнулся со следующей проблемой, и хочу поинтересоваться о вашем мнении...

Нашёл я актуальный, часто обновляемый список "плохих" сайтов разбитые на 5 категорий (число после названия это кол-во записей на данный момент):
Base - 32166 - Базовая защита от adware + malware.
Fakenews - 561 - Сайты фейковских новостей.
Gambling - 1521 - Азартные игры.
Porn - 7763 - Тут всё ясно :)
Social - 230 - Соц. сети.
Итого 42241 записи.

Решил проверить список для среднестатистического пользователя, т.е. без предпоследнего пункта и словил следующую проблему:
Не считая того, что скрипт работал минут 10, добавляя записи, размер занимаемой оперативной памяти вырос на 108962 KiB, при этом роутер загружался 10 минут 20 секунд, и это на CCR1009. Роутеры попроще просто физически не смогут отработать такой объём.
Список не очень грамотный, ибо например есть плохой домен zxc.ru и у него 500 поддоменов 3, 4... уровней. Итого получаем 501 запись, когда по факту одна нужна, но я не знаю как произвести фильтрацию, при этом не заблокировав полезные сайты...

Хотел услышать Ваши мысли по этому поводу.
Сам скрипт тут: http://mikrotik.globalzone.su/BbDNSv2.rsc, но я не рекомендую его использовать, т.к. последствия могут быть не предсказуемые, вплоть до восстановление роутера через NetInstall.

Помощь в ремонте настройке оборудования MikroTik, Мытищи, Москва.
Дома: [RouterBOARD CCR1009-8G-1S-1S+] + [RouterBOARD cAP 2n] + [RouterBOARD Groove A-2Hn-32] + [D-Link ANT24-0800];
Работа 1: [RouterBOARD RB493G] + [MikroTik R52H] + [MikroTik CA493] + [D-Link ANT24-0800] + [RouterBOARD SXT G-2HnD];
Работа 2: [RouterBOARD RB2011UiAS-IN];
Резерв: [RouterBOARD RB450G];
Аватара пользователя
Vlad-2
Сообщения: 588
Зарегистрирован: 08 апр 2016, 19:19
Откуда: Камчатка
Контактная информация:

Re: [BbDNS] Блокировка 'плохих' сайтов средствами DNS

Сообщение Vlad-2 » 22 янв 2017, 10:30

Работа была проделана большая и Вам за неё респект.

Я конечно не стал скрипт на рабочий CCR1016-12G раскручивать, честно - страшновато, да и без связи не хотел остаться.
Но когда дома есть ESX почему бы не попробовать Ваш скрипт на CHR и вот минут 10 -- скачал образ, развернул виртуалку,
(брал самую самую 6.39.15 - самый RC свежак) и залил туда Ваш скрипт и выполнил его (импортировал).
Итак, при 4х vCPU (2сокета и 2 ядра)(1750MHz) и 512 мб памяти он импортировал его 4 минуты, правда может можно было ещё быстрее,
но так как, в EXS у меня CHR был развёрнут в пуле, где я ограничиваю ресурсы тестовым виртуалкам (чтобы основные не схлопнулись).
Потом ребутнул CHR и после ребута меня винбокс не пускал с минуты 1,5-2 минуты, хотя через консольку виртуальной машины (то
есть локально вошёл под админом). Потом зашёл и винбоксом - запустил профайл и смотрел, DNS процесс 25% отжирал. Всё это длилось
около 4-5 минут и всё.
Итог: виртуальный микротик не схлопнулся, физически и виртуально работает, аптайм уже 2-3 часа. Трафик пока через него не гонял,
задача была проверить как скрипт импортируется и как поведёт себя виртуалка (умрёт или нет).

P.S.
Просто решил поделиться, вдруг будет интересно...
На работе(ах): CCR1016-12G, RB2011UAS-2HnD-IN и hAP lite
Дома: CCR1016-12G
Для тестов: hAP lite и что-то ещё по мелочи
MTCNA
MTCRE
Аватара пользователя
Dragon_Knight
Модератор
Сообщения: 1525
Зарегистрирован: 26 мар 2012, 18:21
Откуда: МО, Мытищи
Контактная информация:

Re: [BbDNS] Блокировка 'плохих' сайтов средствами DNS

Сообщение Dragon_Knight » 22 янв 2017, 16:33

Vlad-2, спасибо за тест на физической машине. Результаты интересные, хотя и ожидаемые.
Вообще DNS инициализируется где то после базовой инициализации железа, свичей, бриджей, фаервола, но до инициализации wifi, ppp и так далее, поэтому роутер долго не подключается к интернету.

Помощь в ремонте настройке оборудования MikroTik, Мытищи, Москва.
Дома: [RouterBOARD CCR1009-8G-1S-1S+] + [RouterBOARD cAP 2n] + [RouterBOARD Groove A-2Hn-32] + [D-Link ANT24-0800];
Работа 1: [RouterBOARD RB493G] + [MikroTik R52H] + [MikroTik CA493] + [D-Link ANT24-0800] + [RouterBOARD SXT G-2HnD];
Работа 2: [RouterBOARD RB2011UiAS-IN];
Резерв: [RouterBOARD RB450G];
Аватара пользователя
Dragon_Knight
Модератор
Сообщения: 1525
Зарегистрирован: 26 мар 2012, 18:21
Откуда: МО, Мытищи
Контактная информация:

Re: [BbDNS] Блокировка 'плохих' сайтов средствами DNS

Сообщение Dragon_Knight » 24 янв 2017, 19:57

Смог актуализировать список доменов, путём проверки каждого у Google DNS.
Получился следующий список, где первое число столько сейчас а второе сколько было, однако всё равно список огромный..
Base - 26806 / 32166 - Базовая защита от adware + malware.
Fakenews - 558 / 561 - Сайты фейковских новостей.
Gambling - 1422 / 1521 - Азартные игры.
Porn - 6831 / 7763 - Тут всё ясно :)
Social - 194 / 230 - Соц. сети.
Итого 35811 / 42241 записи.

Сам скрипт тут: http://mikrotik.globalzone.su/BbDNSv2.rsc, но я не рекомендую его использовать, т.к. последствия могут быть не предсказуемые, вплоть до восстановление роутера через NetInstall.

Помощь в ремонте настройке оборудования MikroTik, Мытищи, Москва.
Дома: [RouterBOARD CCR1009-8G-1S-1S+] + [RouterBOARD cAP 2n] + [RouterBOARD Groove A-2Hn-32] + [D-Link ANT24-0800];
Работа 1: [RouterBOARD RB493G] + [MikroTik R52H] + [MikroTik CA493] + [D-Link ANT24-0800] + [RouterBOARD SXT G-2HnD];
Работа 2: [RouterBOARD RB2011UiAS-IN];
Резерв: [RouterBOARD RB450G];

Вернуться в «Готовые конфигурации Mikrotik»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость