Всем
Кто-нибудь проводил тестирование на огромное кол-во статических DNS записей, в частности около 1 миллиона?
Возникла идея заблокировать потенциально опасные домены, рекламные домены и прочий мусор средствами DNS сервера микротика.
Сервисы, типа SkyDNS не предлагать, - категорически против зависеть от кого-то, хранить данные у кого-то и так далее. Т.е. я против облачных сервисов
Огромное кол-во статических DNS записей
- Dragon_Knight
- Сообщения: 1724
- Зарегистрирован: 26 мар 2012, 18:21
- Откуда: МО, Мытищи
- Контактная информация:
Небольшой свод правил логики и ссылок:
- Если устройство имеет Ethernet порт, то оно обязано быть подключено через него. Компьютер, Ноутбук, Телевизор, Принтер, Камера видеонаблюдения, и т.д.
- Если нет возможности протянуть кабель, то найдите её, или страдайте со своими проблемами Wi-Fi дальше.
- Wi-Fi это сеть для мобильных устройств. Если Вы подключили свой шикарный 50" телевизор не кабелем, то без фотоотчёта, когда он лежит у Вас в кармане дальнейшего разговора не получиться. Это относится и ко всем остальным устройствам.
- Если Ваше устройство вызывает вопросы в работе, первое что необходимо делать: NetInstall + дальнейшая настройка вручную.
- Не используйте WebFig или QuickSet - это пути к глюкам и ошибкам. Только SSH или WinBox, и да, - WinBox есть под Android.
- name.rsc - это текстовый файл, и Вы можете его открыть блокнотом.
- Если Вы хотите связаться со мной для ремонта или настройки, то: Telegram ( Не благотворительность ).
- Мой сайт по Mikrotik: Global Zone >> MikroTik.
- podarok66
- Модератор
- Сообщения: 4361
- Зарегистрирован: 11 фев 2012, 18:49
- Откуда: МО
Адрес-лист с 4800 записей у меня работает абсолютно незаметно.
Мануалы изучил и нигде не ошибся? Фаервол отключил? Очереди погасил? Витая пара проверена? ... Тогда Netinstal'ом железку прошей и настрой ее заново. Что, все равно не фурычит? Тогда к нам. Если не подскажем, хоть посочувствуем...
- Dragon_Knight
- Сообщения: 1724
- Зарегистрирован: 26 мар 2012, 18:21
- Откуда: МО, Мытищи
- Контактная информация:
podarok66, ну адрес-лист это всё-же, как я понимаю, бинарная операция сравнения, а записи DNS это уже рекурсивная символьный поиск... Второе значительно сложнее.
Поправьте если ошибаюсь..
Поправьте если ошибаюсь..
Небольшой свод правил логики и ссылок:
- Если устройство имеет Ethernet порт, то оно обязано быть подключено через него. Компьютер, Ноутбук, Телевизор, Принтер, Камера видеонаблюдения, и т.д.
- Если нет возможности протянуть кабель, то найдите её, или страдайте со своими проблемами Wi-Fi дальше.
- Wi-Fi это сеть для мобильных устройств. Если Вы подключили свой шикарный 50" телевизор не кабелем, то без фотоотчёта, когда он лежит у Вас в кармане дальнейшего разговора не получиться. Это относится и ко всем остальным устройствам.
- Если Ваше устройство вызывает вопросы в работе, первое что необходимо делать: NetInstall + дальнейшая настройка вручную.
- Не используйте WebFig или QuickSet - это пути к глюкам и ошибкам. Только SSH или WinBox, и да, - WinBox есть под Android.
- name.rsc - это текстовый файл, и Вы можете его открыть блокнотом.
- Если Вы хотите связаться со мной для ремонта или настройки, то: Telegram ( Не благотворительность ).
- Мой сайт по Mikrotik: Global Zone >> MikroTik.
- podarok66
- Модератор
- Сообщения: 4361
- Зарегистрирован: 11 фев 2012, 18:49
- Откуда: МО
А что тут поправлять? Всё как есть
Ну тогда пробуй сам, вряд ли кто такое пробовал. Хотя есть страшное сомнение, что как раз
И как ты собрался заносить такое количество записей?
Ну тогда пробуй сам, вряд ли кто такое пробовал. Хотя есть страшное сомнение, что как раз
может на корню погубить затею. Интересно, как там сам механизм работает? Если он все записи перебирать будет при каждом обращении, то это очень и очень много работы. Даже если оставить это только для новых соединений.Dragon_Knight писал(а):рекурсивная символьный поиск...
И как ты собрался заносить такое количество записей?
Мануалы изучил и нигде не ошибся? Фаервол отключил? Очереди погасил? Витая пара проверена? ... Тогда Netinstal'ом железку прошей и настрой ее заново. Что, все равно не фурычит? Тогда к нам. Если не подскажем, хоть посочувствуем...
- Dragon_Knight
- Сообщения: 1724
- Зарегистрирован: 26 мар 2012, 18:21
- Откуда: МО, Мытищи
- Контактная информация:
putty + скрипт.
А выборка.. это тайна и не уверен что кто-то скажет какой именно там механизм, хотя чисто теоретически там должен быть побайтовый отбор.. т.е. сначала выбираются все записи где совпадает первая буква, потом среди уже отобранных отбирается где совпадает вторая и так далее. Принцев такой механизм даже на MIPS способен делать миллионы выборок в секунду..
По сути задержка в 0.5-1 секунду я считаю приемлемой, учитывая что это единоразово, и после чего запись будет закеширована у клиента.
А выборка.. это тайна и не уверен что кто-то скажет какой именно там механизм, хотя чисто теоретически там должен быть побайтовый отбор.. т.е. сначала выбираются все записи где совпадает первая буква, потом среди уже отобранных отбирается где совпадает вторая и так далее. Принцев такой механизм даже на MIPS способен делать миллионы выборок в секунду..
По сути задержка в 0.5-1 секунду я считаю приемлемой, учитывая что это единоразово, и после чего запись будет закеширована у клиента.
Небольшой свод правил логики и ссылок:
- Если устройство имеет Ethernet порт, то оно обязано быть подключено через него. Компьютер, Ноутбук, Телевизор, Принтер, Камера видеонаблюдения, и т.д.
- Если нет возможности протянуть кабель, то найдите её, или страдайте со своими проблемами Wi-Fi дальше.
- Wi-Fi это сеть для мобильных устройств. Если Вы подключили свой шикарный 50" телевизор не кабелем, то без фотоотчёта, когда он лежит у Вас в кармане дальнейшего разговора не получиться. Это относится и ко всем остальным устройствам.
- Если Ваше устройство вызывает вопросы в работе, первое что необходимо делать: NetInstall + дальнейшая настройка вручную.
- Не используйте WebFig или QuickSet - это пути к глюкам и ошибкам. Только SSH или WinBox, и да, - WinBox есть под Android.
- name.rsc - это текстовый файл, и Вы можете его открыть блокнотом.
- Если Вы хотите связаться со мной для ремонта или настройки, то: Telegram ( Не благотворительность ).
- Мой сайт по Mikrotik: Global Zone >> MikroTik.
-
- Модератор
- Сообщения: 3605
- Зарегистрирован: 26 сен 2013, 14:20
- Откуда: НСК
- Контактная информация:
Интересную тему подняли.
У меня как то была задача сделать что то типа детского фильтра с возможностью редактирования и редиректом на нужную страничку в случае если юзер идет на запрещенный адрес.
Имен было порядка 200, анализ по контенту ничего хорошего не дал. В общем в итоге получился скрипт который раз в сутки берет имена из файлика, преобразует их к адресам и генерирует адрес лист. Клиент был доволен таким решением. Причем реализовывал не через :resolve, а парсил кеш ДНС микротика
У меня как то была задача сделать что то типа детского фильтра с возможностью редактирования и редиректом на нужную страничку в случае если юзер идет на запрещенный адрес.
Имен было порядка 200, анализ по контенту ничего хорошего не дал. В общем в итоге получился скрипт который раз в сутки берет имена из файлика, преобразует их к адресам и генерирует адрес лист. Клиент был доволен таким решением. Причем реализовывал не через :resolve, а парсил кеш ДНС микротика
Есть интересная задача и бюджет? http://mikrotik.site
- podarok66
- Модератор
- Сообщения: 4361
- Зарегистрирован: 11 фев 2012, 18:49
- Откуда: МО
Что тема интересна многим, в том числе и мне - это однозначно. Тем более, что вопрос стоит не о паре-другой адресов, а о весьма и весьма приличном объеме адресов. Я за всеми лапами. И поучаствую при надобности всеми своими скудными способностями
Мануалы изучил и нигде не ошибся? Фаервол отключил? Очереди погасил? Витая пара проверена? ... Тогда Netinstal'ом железку прошей и настрой ее заново. Что, все равно не фурычит? Тогда к нам. Если не подскажем, хоть посочувствуем...
-
- Сообщения: 86
- Зарегистрирован: 10 ноя 2012, 00:23
- Dragon_Knight
- Сообщения: 1724
- Зарегистрирован: 26 мар 2012, 18:21
- Откуда: МО, Мытищи
- Контактная информация:
vkrum, проще, но в последнем предложении первого поста всё написано)
Небольшой свод правил логики и ссылок:
- Если устройство имеет Ethernet порт, то оно обязано быть подключено через него. Компьютер, Ноутбук, Телевизор, Принтер, Камера видеонаблюдения, и т.д.
- Если нет возможности протянуть кабель, то найдите её, или страдайте со своими проблемами Wi-Fi дальше.
- Wi-Fi это сеть для мобильных устройств. Если Вы подключили свой шикарный 50" телевизор не кабелем, то без фотоотчёта, когда он лежит у Вас в кармане дальнейшего разговора не получиться. Это относится и ко всем остальным устройствам.
- Если Ваше устройство вызывает вопросы в работе, первое что необходимо делать: NetInstall + дальнейшая настройка вручную.
- Не используйте WebFig или QuickSet - это пути к глюкам и ошибкам. Только SSH или WinBox, и да, - WinBox есть под Android.
- name.rsc - это текстовый файл, и Вы можете его открыть блокнотом.
- Если Вы хотите связаться со мной для ремонта или настройки, то: Telegram ( Не благотворительность ).
- Мой сайт по Mikrotik: Global Zone >> MikroTik.
- Dragon_Knight
- Сообщения: 1724
- Зарегистрирован: 26 мар 2012, 18:21
- Откуда: МО, Мытищи
- Контактная информация:
Начал тестировать эту идею.
Для начала забил 15678 записей. Ссылка для скачивания скрипта: http://globalzone.su/mikrotik/DNS_15678.rsc (Для импорта закачиваем в роутер и выполняем команду: "import file-name=DNS_15678.rsc" и ждём завершение, примерно 2-5 минут)
Первое открытие сайтов стало чуть чуть подольше, примерно на 0.25-0.5с и это время уходит на резолвинг DNS записи, нагрузка на проц роутера при этом не больше 0.1% (RouterBOARD CCR1009-8G-1S-1S+), зато интернет стал более интересным , - ни рекламы, ни баннеров.
Есть есть у кого-то желание потестировать, то файл выше. Экспериментируйте, проверяйте и не забывайте отписываться о результатах.
Для начала забил 15678 записей. Ссылка для скачивания скрипта: http://globalzone.su/mikrotik/DNS_15678.rsc (Для импорта закачиваем в роутер и выполняем команду: "import file-name=DNS_15678.rsc" и ждём завершение, примерно 2-5 минут)
Первое открытие сайтов стало чуть чуть подольше, примерно на 0.25-0.5с и это время уходит на резолвинг DNS записи, нагрузка на проц роутера при этом не больше 0.1% (RouterBOARD CCR1009-8G-1S-1S+), зато интернет стал более интересным , - ни рекламы, ни баннеров.
Есть есть у кого-то желание потестировать, то файл выше. Экспериментируйте, проверяйте и не забывайте отписываться о результатах.
Небольшой свод правил логики и ссылок:
- Если устройство имеет Ethernet порт, то оно обязано быть подключено через него. Компьютер, Ноутбук, Телевизор, Принтер, Камера видеонаблюдения, и т.д.
- Если нет возможности протянуть кабель, то найдите её, или страдайте со своими проблемами Wi-Fi дальше.
- Wi-Fi это сеть для мобильных устройств. Если Вы подключили свой шикарный 50" телевизор не кабелем, то без фотоотчёта, когда он лежит у Вас в кармане дальнейшего разговора не получиться. Это относится и ко всем остальным устройствам.
- Если Ваше устройство вызывает вопросы в работе, первое что необходимо делать: NetInstall + дальнейшая настройка вручную.
- Не используйте WebFig или QuickSet - это пути к глюкам и ошибкам. Только SSH или WinBox, и да, - WinBox есть под Android.
- name.rsc - это текстовый файл, и Вы можете его открыть блокнотом.
- Если Вы хотите связаться со мной для ремонта или настройки, то: Telegram ( Не благотворительность ).
- Мой сайт по Mikrotik: Global Zone >> MikroTik.