Russian Users MikroTik | Форум пользователей MikroTik

Коллеги, привет!

Подскажите, пожалуйста

Можно ли добавить на роутер (2011UiAS-2HnD) крупный список Ip адресов в firewall / address list иначе, как rsc-файлом с 200 000 строк:

/ip firewall address-list add address=1.32.194.67/32 list=rkn
/ip firewall address-list add address=1.32.194.68/32 list=rkn
/ip firewall address-list add address=1.32.194.195/32 list=rkn
.......

Не справляется железка, где-то после 70 000 строк уходит в ребут

Если тема была, сорри, не нашел

Да 200 000 строк не всякий текстовый редактор обработает без проблем. Порежте на 5-6 более мелких файлов и все дела. Вы же в каждой следующей строке просто добавляете запись к листу. Это можно и в несколько этапов делать.
Вот уж мне максималисты...

Я сомневаюсь (в реализации задуманного на этом оборудовании).

1) РБ2011 слишком стар (по модельному ряду), там памяти 128мб

2) вроде с года полтора-два тут мы игрались с файлами,
могу напутать, но под CHR (под виртуальным микротиком) с памятью
в 256 или 512 мегабайт и с файликом под 70-80к = даже виртуальный
микротик на 2-4 минуты был недоступен.

3) и даже если поделить 200к записей по 20к(10раз) вряд ли устройство
их все сможет принять. Я делаю ставку, что после какова кол-ва,
предел наступает.

В любом случаи, если ТС сделает и поделиться результатами, будет интересно.

Коллеги, выходной, почему бы не по-экспериментировать то?

Дано №1:
виртуальный CHR, 2 ядра, частота 1800MHz, памяти 512 (внутри CHR видит 480 Мб)
(это так было уже сделано и в рамках теста я на этим параметрах решил поиграться)

Тест №1 (залить файл адрес-лист)
Нашёл файл фонарный, адаптировал его в виде адрес листа, строк в файле
было = 475417 (размер файла 15,4 мегабайта) импорт файла составил 3 минуты и 7 сек.
При импорте, нагрузка была 52-55%, позже до 67-72%.
Памяти RAM (согласно окну Resource)
Было до: 480 Мб
Стало: 118 Мб

Удаление:
вот это был трэш!!
При удалении реально виртуалка подвиласа и отваливалась.
Работал я по МАКу, позже подключился по IP = тоже самое.
Удалять пришлось по частям, и по мелким.
Занял этот процесс больше часа (уже жалею что не сделал снапшот в виртуализации,
ибо было проще со снапшота вернуть виртуалку, чем удалять почти 460к строк.
Отвечу так, стабильность работы машины (виртуалку) низкая, зависание, поддупливание.
Добавил позже, виртуалке 4гига оперативы, почти ничего не изменилось, подвисание,
потеря связи продолжались. Надёжность такова использования = сомнительная и очень.

==============================================
Дано №2:
виртуальный CHR, 1 ядро, частота 1800MHz, памяти 128 (внутри CHR видит 77 Мб) - Примерно сделал как в РБ2011

Тест №2 (залить файл адрес-лист 201к записей)
Файл сделал ровно 201к записей (размер файла 6,7мегабайта)
При импорте нагрузка была в рамках 75-88%, память таила, за памятью
при первых минутах не следил, но позже, увидел как она достигла
(свободно 5мегабайт) и примерно так и держалось.
Итак, импортирование шло аж 54мин и 47 сек и вылетело потом с ошибкой:

[admin@CHR1-TEST] > import file-name=IPDATA-200k.rsc
action timed out - try again, if error continues contact MikroTik support and send a supout file (13)

Ипортировано 50555 объектов (какое круглое число!?!?).
Система отвечает, но свободной памяти на момент появившейся ошибки - было 11 мегабайт.
Спустя минуты 3-4 минуты, система показывает 62 мегабайта свободы.

Итак:
1) РБ2011 и при 128мб = не в состоянии прожевать файл большой, 201к записи,
и за 54 минуты лишь 1/4 вошла.
2) При повышении виртуальной машине памяти до 4х гиг, скорость и адаптивность не пришла.
3) Скорее всего для работы в комплексе, нужны и ядра и мощность и оперативность (проверю как-нибудь в другой раз).

Vlad-2 писал(а): ↑16 июн 2019, 02:06 Я сомневаюсь (в реализации задуманного на этом оборудовании).

1) РБ2011 слишком стар (по модельному ряду), там памяти 128мб

2) вроде с года полтора-два тут мы игрались с файлами,
могу напутать, но под CHR (под виртуальным микротиком) с памятью
в 256 или 512 мегабайт и с файликом под 70-80к = даже виртуальный
микротик на 2-4 минуты был недоступен.

3) и даже если поделить 200к записей по 20к(10раз) вряд ли устройство
их все сможет принять. Я делаю ставку, что после какова кол-ва,
предел наступает.

В любом случаи, если ТС сделает и поделиться результатами, будет интересно.

На реальном устройстве 70 000 строк импортировалось минут 20, процессор напрягался под 90-100%, пару раз подвисал - но соединение не обрывал.
Итого, за 2 итерации было загружено 137 686 записей, собственно для загрузки полной базы нужна еще одна итерация

Да, кстати, удалить 20 000 записей было так же не самой простой задачей ))

Если проводить аналогию с BGP, с его over 700K маршрутов, ака практически такими же записями, и вспомнить что даже CCRы не вывозят bgp full view, тогда все ваши попытки и эксперименты это чистой воды садизм и издевательство над бедолагой и стариком 2011.

Если кому-то интересно, чем все закончилось:

На один из роутеров залил 240 000 строк, залил 4 частями по 60k, залилось бодренько, но как появились пользователи - роутер начал помирать, cpu 100% и баста, удалил все нахрен, попросил написать, каким сайтам жить мешает РКН - за 2 суток написали 5 страничек......

На 2ой загрузил 180 000 тысяч, 1 раз бутнулся и все, 36 часов - полет нормальный, но тож удалю на выходных ))

С доменными именами также можно сделать? Мне нужно импортировать 2500 адресов в address list.
/ip firewall address-list add address=mysite.ru list=mylist
/ip firewall address-list add address=mysite2.ru list=mylist

Их записать в текстовый файл, файлу обязательно нужно вписать расширение rsc?
Далее import file=myfile.rsc

mahabat писал(а): ↑13 ноя 2019, 00:43 С доменными именами также можно сделать?

Да, только учтите, что роутер будет эти имена превращать в IP,
поэтому будет дополнительная нагрузка на роутер.

mahabat писал(а): ↑13 ноя 2019, 00:43 Мне нужно импортировать 2500 адресов в address list.
/ip firewall address-list add address=mysite.ru list=mylist
/ip firewall address-list add address=mysite2.ru list=mylist

Вроде 2500 не много, но с учётом преобразования в IP, в любом
случаи должно получиться и не вижу тут проблем.

mahabat писал(а): ↑13 ноя 2019, 00:43 Их записать в текстовый файл, файлу обязательно нужно вписать расширение rsc?
Далее import file=myfile.rsc

Вроде бы не критично, главное чтобы внутри этого файла, там было в формате ROS,
и думаю проблем при импорте не должно возникнуть.
На крайний случай расширение поставить = не проблема же.

Vlad-2 писал(а): ↑13 ноя 2019, 05:52 Вроде бы не критично, главное чтобы внутри этого файла, там было в формате ROS,
и думаю проблем при импорте не должно возникнуть.
На крайний случай расширение поставить = не проблема же.

Спасибо.