Массовое добавление IP адресов в firewall / address list

Раздел для тех, кто начинает знакомиться с MikroTik
Правила форума
Как правильно оформить вопрос.
Прежде чем начать настройку роутера, представьте, как это работает. Попробуйте почитать статьи об устройстве интернет-сетей. Убедитесь, что всё, что Вы задумали выполнимо вообще и на данном оборудовании в частности.
Не нужно изначально строить Наполеоновских планов. Попробуйте настроить простейшую конфигурацию, а усложнения добавлять в случае успеха постепенно.
Пожалуйста, не игнорируйте правила русского языка. Отсутствие знаков препинания и неграмотность автора топика для многих гуру достаточный повод проигнорировать топик вообще.

1. Назовите технологию подключения (динамический DHCP, L2TP, PPTP или что-то иное)
2. Изучите темку "Действия до настройки роутера".
viewtopic.php?f=15&t=2083
3. Настройте согласно выбранного Вами мануала
4. Дочитайте мануал до конца и без пропусков, в 70% случаев люди просто не до конца читают статью и пропускают важные моменты.
5. Если не получается, в Winbox открываем терминал и вбиваем там /export hide-sensitive. Результат в топик под кат, интимные подробности типа личных IP изменить на другие, пароль забить звездочками.
6. Нарисуйте Вашу сеть, рисунок (схему) сюда. На словах может быть одно, в действительности другое.
Sergey.Lanin
Сообщения: 3
Зарегистрирован: 14 июн 2019, 13:21

Коллеги, привет!

Подскажите, пожалуйста

Можно ли добавить на роутер (2011UiAS-2HnD) крупный список Ip адресов в firewall / address list иначе, как rsc-файлом с 200 000 строк:

/ip firewall address-list add address=1.32.194.67/32 list=rkn
/ip firewall address-list add address=1.32.194.68/32 list=rkn
/ip firewall address-list add address=1.32.194.195/32 list=rkn
.......

Не справляется железка, где-то после 70 000 строк уходит в ребут

Если тема была, сорри, не нашел :-(


Аватара пользователя
podarok66
Модератор
Сообщения: 4355
Зарегистрирован: 11 фев 2012, 18:49
Откуда: МО

Да 200 000 строк не всякий текстовый редактор обработает без проблем. Порежте на 5-6 более мелких файлов и все дела. Вы же в каждой следующей строке просто добавляете запись к листу. Это можно и в несколько этапов делать.
Вот уж мне максималисты...


Мануалы изучил и нигде не ошибся? Фаервол отключил? Очереди погасил? Витая пара проверена? ... Тогда Netinstal'ом железку прошей и настрой ее заново. Что, все равно не фурычит? Тогда к нам. Если не подскажем, хоть посочувствуем...
Аватара пользователя
Vlad-2
Модератор
Сообщения: 2531
Зарегистрирован: 08 апр 2016, 19:19
Откуда: Петропавловск-Камчатский (п-ов Камчатка)
Контактная информация:

Я сомневаюсь (в реализации задуманного на этом оборудовании).

1) РБ2011 слишком стар (по модельному ряду), там памяти 128мб

2) вроде с года полтора-два тут мы игрались с файлами,
могу напутать, но под CHR (под виртуальным микротиком) с памятью
в 256 или 512 мегабайт и с файликом под 70-80к = даже виртуальный
микротик на 2-4 минуты был недоступен.

3) и даже если поделить 200к записей по 20к(10раз) вряд ли устройство
их все сможет принять. Я делаю ставку, что после какова кол-ва,
предел наступает.

В любом случаи, если ТС сделает и поделиться результатами, будет интересно.



На работе(ах): 2xCCR1016-12G, RB3011UiAS и hAP lite (RB941)
Дома: CCR1016-12G, RBcAP2n (standalone), RB wAP LTE kit
Для тестов(под рукой): RB3011UiAS, hAP mini (RB931) и что-то ещё по мелочи
MTCNA
MTCRE
Аватара пользователя
Vlad-2
Модератор
Сообщения: 2531
Зарегистрирован: 08 апр 2016, 19:19
Откуда: Петропавловск-Камчатский (п-ов Камчатка)
Контактная информация:

Коллеги, выходной, почему бы не по-экспериментировать то? :-)

Дано №1:
виртуальный CHR, 2 ядра, частота 1800MHz, памяти 512 (внутри CHR видит 480 Мб)
(это так было уже сделано и в рамках теста я на этим параметрах решил поиграться)

Тест №1 (залить файл адрес-лист)
Нашёл файл фонарный, адаптировал его в виде адрес листа, строк в файле
было = 475417 (размер файла 15,4 мегабайта) импорт файла составил 3 минуты и 7 сек.
При импорте, нагрузка была 52-55%, позже до 67-72%.
Памяти RAM (согласно окну Resource)
Было до: 480 Мб
Стало: 118 Мб

Удаление:
вот это был трэш!! :sh_ok: :sh_ok:
При удалении реально виртуалка подвиласа и отваливалась.
Работал я по МАКу, позже подключился по IP = тоже самое.
Удалять пришлось по частям, и по мелким.
Занял этот процесс больше часа (уже жалею что не сделал снапшот в виртуализации,
ибо было проще со снапшота вернуть виртуалку, чем удалять почти 460к строк.
Отвечу так, стабильность работы машины (виртуалку) низкая, зависание, поддупливание.
Добавил позже, виртуалке 4гига оперативы, почти ничего не изменилось, подвисание,
потеря связи продолжались. Надёжность такова использования = сомнительная и очень.

==============================================
Дано №2:
виртуальный CHR, 1 ядро, частота 1800MHz, памяти 128 (внутри CHR видит 77 Мб) - Примерно сделал как в РБ2011

Тест №2 (залить файл адрес-лист 201к записей)
Файл сделал ровно 201к записей (размер файла 6,7мегабайта)
При импорте нагрузка была в рамках 75-88%, память таила, за памятью
при первых минутах не следил, но позже, увидел как она достигла
(свободно 5мегабайт) и примерно так и держалось.
Итак, импортирование шло аж 54мин и 47 сек и вылетело потом с ошибкой:

[admin@CHR1-TEST] > import file-name=IPDATA-200k.rsc
action timed out - try again, if error continues contact MikroTik support and send a supout file (13)


Ипортировано 50555 объектов (какое круглое число!?!?).
Система отвечает, но свободной памяти на момент появившейся ошибки - было 11 мегабайт.
Спустя минуты 3-4 минуты, система показывает 62 мегабайта свободы.

Итак:
1) РБ2011 и при 128мб = не в состоянии прожевать файл большой, 201к записи,
и за 54 минуты лишь 1/4 вошла.
2) При повышении виртуальной машине памяти до 4х гиг, скорость и адаптивность не пришла.
3) Скорее всего для работы в комплексе, нужны и ядра и мощность и оперативность (проверю как-нибудь в другой раз).



На работе(ах): 2xCCR1016-12G, RB3011UiAS и hAP lite (RB941)
Дома: CCR1016-12G, RBcAP2n (standalone), RB wAP LTE kit
Для тестов(под рукой): RB3011UiAS, hAP mini (RB931) и что-то ещё по мелочи
MTCNA
MTCRE
Sergey.Lanin
Сообщения: 3
Зарегистрирован: 14 июн 2019, 13:21

Vlad-2 писал(а): 16 июн 2019, 02:06 Я сомневаюсь (в реализации задуманного на этом оборудовании).

1) РБ2011 слишком стар (по модельному ряду), там памяти 128мб

2) вроде с года полтора-два тут мы игрались с файлами,
могу напутать, но под CHR (под виртуальным микротиком) с памятью
в 256 или 512 мегабайт и с файликом под 70-80к = даже виртуальный
микротик на 2-4 минуты был недоступен.

3) и даже если поделить 200к записей по 20к(10раз) вряд ли устройство
их все сможет принять. Я делаю ставку, что после какова кол-ва,
предел наступает.

В любом случаи, если ТС сделает и поделиться результатами, будет интересно.
На реальном устройстве 70 000 строк импортировалось минут 20, процессор напрягался под 90-100%, пару раз подвисал - но соединение не обрывал.
Итого, за 2 итерации было загружено 137 686 записей, собственно для загрузки полной базы нужна еще одна итерация :-)

Да, кстати, удалить 20 000 записей было так же не самой простой задачей ))


KARaS'b
Сообщения: 1199
Зарегистрирован: 29 сен 2011, 09:16

Если проводить аналогию с BGP, с его over 700K маршрутов, ака практически такими же записями, и вспомнить что даже CCRы не вывозят bgp full view, тогда все ваши попытки и эксперименты это чистой воды садизм и издевательство над бедолагой и стариком 2011. :hi_hi_hi:


Sergey.Lanin
Сообщения: 3
Зарегистрирован: 14 июн 2019, 13:21

Если кому-то интересно, чем все закончилось:

На один из роутеров залил 240 000 строк, залил 4 частями по 60k, залилось бодренько, но как появились пользователи - роутер начал помирать, cpu 100% и баста, удалил все нахрен, попросил написать, каким сайтам жить мешает РКН - за 2 суток написали 5 страничек......

На 2ой загрузил 180 000 тысяч, 1 раз бутнулся и все, 36 часов - полет нормальный, но тож удалю на выходных ))


mahabat
Сообщения: 6
Зарегистрирован: 24 сен 2019, 20:43

С доменными именами также можно сделать? Мне нужно импортировать 2500 адресов в address list.
/ip firewall address-list add address=mysite.ru list=mylist
/ip firewall address-list add address=mysite2.ru list=mylist

Их записать в текстовый файл, файлу обязательно нужно вписать расширение rsc?
Далее import file=myfile.rsc


Аватара пользователя
Vlad-2
Модератор
Сообщения: 2531
Зарегистрирован: 08 апр 2016, 19:19
Откуда: Петропавловск-Камчатский (п-ов Камчатка)
Контактная информация:

mahabat писал(а): 13 ноя 2019, 00:43 С доменными именами также можно сделать?
Да, только учтите, что роутер будет эти имена превращать в IP,
поэтому будет дополнительная нагрузка на роутер.
mahabat писал(а): 13 ноя 2019, 00:43 Мне нужно импортировать 2500 адресов в address list.
/ip firewall address-list add address=mysite.ru list=mylist
/ip firewall address-list add address=mysite2.ru list=mylist
Вроде 2500 не много, но с учётом преобразования в IP, в любом
случаи должно получиться и не вижу тут проблем.
mahabat писал(а): 13 ноя 2019, 00:43 Их записать в текстовый файл, файлу обязательно нужно вписать расширение rsc?
Далее import file=myfile.rsc
Вроде бы не критично, главное чтобы внутри этого файла, там было в формате ROS,
и думаю проблем при импорте не должно возникнуть.
На крайний случай расширение поставить = не проблема же.



На работе(ах): 2xCCR1016-12G, RB3011UiAS и hAP lite (RB941)
Дома: CCR1016-12G, RBcAP2n (standalone), RB wAP LTE kit
Для тестов(под рукой): RB3011UiAS, hAP mini (RB931) и что-то ещё по мелочи
MTCNA
MTCRE
mahabat
Сообщения: 6
Зарегистрирован: 24 сен 2019, 20:43

Vlad-2 писал(а): 13 ноя 2019, 05:52 Вроде бы не критично, главное чтобы внутри этого файла, там было в формате ROS,
и думаю проблем при импорте не должно возникнуть.
На крайний случай расширение поставить = не проблема же.
Спасибо.


Ответить