Реальные тесты CCR1036-12G-4S

Тут размещаем отчеты о готовых работающих решениях на оборудовании Mikrotik
iSupport
Сообщения: 2359
Зарегистрирован: 06 фев 2011, 20:44

Свершилось! CCR1036-12G-4S перестал быть жутким дефицитом и приехал в нашу тестовую лабораторию.

Тестовой лабораторией является районная серверная одного из Московский провайдеров.
Тарифы от 10 до 100 мегабит, средний тариф 40..50 мегабит
подключение к сети по Ethernet, интернет раздается через РРРоЕ

Общий трафик сегмента около 600..700 мегабит, пользователей порядка 1000
авторизуют их 2 сервера на intel Xeon в помощь этим серверам и поставили CCR1036-12G-4S в качестве третьего NAS,
так как не знали насколько адекватно поведет себя CCR - с основных серверов пока нагрузку не снимали

Основное что нас интересовало - стабильность работы устройства на последних прошивках (поставили 6.0rc11) а так же производительность устройства.

При анализе заваленных характеристик, предположили, что CCR должен протянуть свыше 1500 подключений, но к сожалению в данном сегменте нет такой нагрузки. Так что посмотрим на фактическую нагрузку и на загрузку процессора.


-----------------
Коммутация

узловой коммутатор района - DGS 3627G, так как медные порты на нем уже заняты серверами, для подключения CCR решили использовать оптическое соединение.

SFP- модули взяли первые попавшиеся под руку, два фирмы Opticin два - неизвестный noname. Проблем с модулями не возникло, все завелось сразу

Интерфейс sfp-1 это backbone, в нем происходит выход трафика от абонентов в сторону NAT и обмен BGP между NAT и всеми серверами авторизации

Интерфейс sfp-2 - абонентские VLAN для PPPoE- трафика, то есть в этом интерфейсе держатся сессии с абонентами.
Так сделали по идеологическим соображениям, и из-за того, что в классических x86 микротиках нагрузка по ядрам CPU распределяется ровнее при использовании двух интерфейсов

У CCR же нагрузка не привязана к ядрам, по крайней мере пока закономерность выявить не удалось. Нагрузка размазывается по всем ядрам


Аптайм у роутера в данный момент порядка 9 часов. Пока Пара скриншотов.

 
winbox.png
Скриншот винбокс
(113.88 КБ) 239 скачиваний

cacti.jpg
Какти-графики
(82.47 КБ) 239 скачиваний


Если до завтра с роутером все будет ОК - уберем нагрузку с х86 сервера и переведем абонентов на CCR


Граждане, сколько раз просил =) чем понятнее и точнее сформулирован вопрос - тем понятнее и точнее будет на него ответ.
Я просматриваю ВСЕ темы форума и стараюсь помочь в каждой из них
Поэтому, НА ЛС отвечаю в последнюю очередь
Аватара пользователя
simpl3x
Модератор
Сообщения: 1532
Зарегистрирован: 19 апр 2012, 14:03

сколько маршрутов по bgp? сколько правил firewall, mangle, nat, queues?
не спешите так, у нас железка в "тепличных" условия живет вполне себе, а как только туда абонентский трафик попадает, начинает умирать.

сразу вам подскажу, вдруг пригодится. у нас железка висла так, что по всем протоколам на нее не попасть, НО при этом snmp работало. Перезагружали его так:

Код: Выделить всё

snmpset -c private -v 2c IP  1.3.6.1.4.1.14988.1.1.7.1.0 s 1


iSupport
Сообщения: 2359
Зарегистрирован: 06 фев 2011, 20:44

По bgp 4 маршрута, НАТом занимается отдельный сервер
в файерволе правила mark и мангл по тарифным планам (то есть шейпером по тарифным планам занимается NAS)


Абонентский трафик пик был 200 мегабит, от 138 пользователей

В таком состоянии NAS CCR1036 переживет праздники (8, 9, 10 марта)

со следующей недели уберем нагрузку с мощного PC-микротика и перенаправим ее на CCR1036, коннектов должно быть около 500.. 600

***у нас есть негласное правило не делать глобальных изменений в сети в последний рабочий день недели, чтоб не иметь проблем в выходные


Граждане, сколько раз просил =) чем понятнее и точнее сформулирован вопрос - тем понятнее и точнее будет на него ответ.
Я просматриваю ВСЕ темы форума и стараюсь помочь в каждой из них
Поэтому, НА ЛС отвечаю в последнюю очередь
Аватара пользователя
simpl3x
Модератор
Сообщения: 1532
Зарегистрирован: 19 апр 2012, 14:03

как у вас дела с тестами? что то изменилось в стабильности 6.0rc12?


iSupport
Сообщения: 2359
Зарегистрирован: 06 фев 2011, 20:44

стоит прошивка rc11 - я не сторонник таких эксперементов с пре-пре-пре-релизами

как только 12ю выпустят на сайт - придется смотреть аптайм заново.

Мы сейчас ждем момента, чтобы погасить толстый сервер авторизации и дать нагрузку на CCR

аптайм 2 недели = полет нормальный, трафик до 220 мегабит по вечерам


Граждане, сколько раз просил =) чем понятнее и точнее сформулирован вопрос - тем понятнее и точнее будет на него ответ.
Я просматриваю ВСЕ темы форума и стараюсь помочь в каждой из них
Поэтому, НА ЛС отвечаю в последнюю очередь
asket
Сообщения: 31
Зарегистрирован: 06 май 2013, 20:31

В дополнение- стоит CCR1036, раздает 3 BGP-сессии, 1 BGP-аплинк с FullView, более 250 IPoE интерфейсов. Суммарный трафик более 700 метров. Нагрузка процессоров- не более 16-17 процентов. Нагрузкой на ОЗУ вообще можно пренебречь


Аватара пользователя
simpl3x
Модератор
Сообщения: 1532
Зарегистрирован: 19 апр 2012, 14:03

а ros у вас какая? бывают ли внезапные рестарты и залипания железки?


iSupport
Сообщения: 2359
Зарегистрирован: 06 фев 2011, 20:44

Аптайм дошел до 2х месяцев и железка уехала трудиться в другой район

так сказать на полноценное боевое дежурство

:D


Граждане, сколько раз просил =) чем понятнее и точнее сформулирован вопрос - тем понятнее и точнее будет на него ответ.
Я просматриваю ВСЕ темы форума и стараюсь помочь в каждой из них
Поэтому, НА ЛС отвечаю в последнюю очередь
Аватара пользователя
simpl3x
Модератор
Сообщения: 1532
Зарегистрирован: 19 апр 2012, 14:03

давече как вчера пришлось по глупости аплинка обновить работающий ccr до 6.0RC14, в итоге сидим скрестив пальцы.


iSupport
Сообщения: 2359
Зарегистрирован: 06 фев 2011, 20:44

так 6.0 вышла же

Код: Выделить всё

What's new in 6.0 (2013-May-17 14:04):

*) ipsec - added /peer passive option which will prevent starting ISAKMP negotiation
    and signifies xauth responder/initiator side;
*) RouterBOARD - default wireless config now includes password - serial number;
*) lte - support YOTA WLTUBA-107;
*) console - fixed crash when variable name was not specified for
*) hotspot - added mac-cookie login method;
   http://wiki.mikrotik.com/wiki/Manual:Hotspot_Introduction#MAC_Cookie
*) lcd - show a message when system shutdown is complete;
*) lcd - added Log screen which is accessible through the Main Menu
   and shows log messages where action=echo;
*) ipsec - added pre-shared-key-xauth and rsa-signature-hybrid authentication methods;
*) increased max l2mtu on CCR to 10226 bytes;
*) fixed crash on RB1200;
*) fixed bonding - did not work after remove, undo;
*) fixed queues - router could become unresponsive when configuring queues;

What's new in 6.0rc14 (2013-Apr-24 11:52):

*) route - make connected routes inactive when interface has no link;
*) ipsec - changing or removing unused peer or proposal config won't flush active SAs;
*) console - add 'without-paging' to more 'print' commands;
*) route - automatically repair FIB inconsistencies;
*) ipsec mode-cfg - unity split include support;
*) ipsec policy - template matching for policy generation;
*) metarouter: fixed occasional lockups on mipsbe boards;
*) fixed crash when bridge filter rule had action=return for rule in builtin chain;
*) traffic-flow - fixed deadlock and crash on multicore;
*) fixed memory leak on CCR with PPPoE interfaces;
*) improved PPPoE interface encapsulation performance;
*) fixed queues - total amount of traffic passing through queues sometimes was about 1Gbit;

What's new in 6.0rc13 (2013-Apr-08 14:25):


Граждане, сколько раз просил =) чем понятнее и точнее сформулирован вопрос - тем понятнее и точнее будет на него ответ.
Я просматриваю ВСЕ темы форума и стараюсь помочь в каждой из них
Поэтому, НА ЛС отвечаю в последнюю очередь
Ответить