Отчеты по трафику, по посещению сайтов

Описание каждой версии, обсуждение особенностей и недостатков
Ответить
voler
Сообщения: 109
Зарегистрирован: 13 апр 2012, 12:33

Добрый день.

Подскажите, есть микротик, есть сервер на базе ubuntu, с настроенным netflow. Интересует кто сталкивался, с возможностью выводить отчеты по посещениям.
Т.к. руководству ip адреса не понятны, прокси сервер не получится поставит т.к. большая часть сайтов уже перешла на https, и с текущей политикой их будет все больше и больше.

Может кто посоветует? Что?


SergeyZ
Сообщения: 111
Зарегистрирован: 10 сен 2018, 09:07
Откуда: Санкт-Петербург

У меня это решено через accounting и dns-cache, без netflow.
В вашем случае можно также забирать с микротика dns-cache, а в скрипте, формирующем отчет, добавить сопоставление и замену ip на имя сайта из dns-cache.
Просто вытаскивать имена сайтов с dns серверов, как мне кажется, будет плохой идеей.
Но будет интересно что предложат другие товарищи с этого форума)


voler
Сообщения: 109
Зарегистрирован: 13 апр 2012, 12:33

Пример кода есть?

Поясню, что хочется:
Есть сеть в ней 10-15 ПК, директору хочется знать кто куда по интернету.


SergeyZ
Сообщения: 111
Зарегистрирован: 10 сен 2018, 09:07
Откуда: Санкт-Петербург

Увы, нету) Если б был, не стал бы делать через Accounting и dns-cache :-)


voler
Сообщения: 109
Зарегистрирован: 13 апр 2012, 12:33

А свой алгоритм показать можешь?


SergeyZ
Сообщения: 111
Зарегистрирован: 10 сен 2018, 09:07
Откуда: Санкт-Петербург

Это почти завершенная программа, которую продавать можно) И ее код выкидывать на всеобозрение будет слегка странно)

В общих чертах..
Каждую минуту вытаскиваете Accounts и dns-cache и заносите с временными штампами в базу данных.
На этом сбор заканчивается.
Далее анализ.
Делите трафик на входящий и исходящий, считаете сумму для всех и для каждого в оба направления (для статистики).
При чем у вас эта сумма должна быть за день/час/минуту. Можно еще за неделю/месяц/год для более обширного отчета.
Далее чистите таблицу dns-cache от дублирующих записей (а их будет очень много) и объединяете записи с одинаковыми ip, имеющие разные имена.
Сопоставляете внешние ip из accounting с ip из dns-cache и приписываете имена сайта. Если таких dns-записей нет, то оставляете без имени.
Далее все это переводите в графики для всех и для каждого.
Под графиками суммируете трафик с одинаковым направлением и делаете некий рейтинг сайтов, куда человек ходил.

Это вкратце.. Не буду уж про всякие проверки писать, мультиподключения и прочее...

Я делал на C# и пока забираю по SSH. В тестовом режиме работает, но пишу эту приблуду месяца два и еще с месяц дописывать, так что предложить ее вам для пользования пока также не могу. Но можете написать свое) Алгоритм я написал) Далее - дело техники)

И да.. Ryzen 7 1800X у меня сейчас полный анализ с нуля за сутки с формированием графиков для офиса на 40 человек делает минут 4-5.. Так что либо делайте возможность формирования отчета постепенно, либо будьте готовы к тому, что отчет будет формироваться на слабеньком компе довольно не быстро :-)


voler
Сообщения: 109
Зарегистрирован: 13 апр 2012, 12:33

продолжаем разговор, у меня есть собственная система HOTSPOT авторизации (смс, звонок, получение пароля у администратора), и как раз описанное вами прекрасно подходит для двух проектов (офиса, хотспот).

Как я понял NETFLOW сливает весь трафик, а Accounting отправляет трафик определенного абонента (ПК, HOTSPOT юзера). так?
DNS-CACHE вы читаете с микротика.

Сложного вроде нет, осталось в курить как сделать связку Accounting. Пошел гуглить. Но если распишите в л.к. или на почту, то к_шом поделюсь.


SergeyZ
Сообщения: 111
Зарегистрирован: 10 сен 2018, 09:07
Откуда: Санкт-Петербург

Accounting собирает статистику до снапшота. Статистика имеет вид:


<dst-address><src-address><packets><bytes>

Из нее выделяете какие адреса локальные, а какие - внешние. Направление вычисляется по тому, в каком столбце локальный адрес. Если он в src, то это upload.

Кэш не нужен) Алгоритм не стоит ничего) Он вполне легкий, но реализация может быть разной)

А обсуждение здесь может кому и пригодится)


voler
Сообщения: 109
Зарегистрирован: 13 апр 2012, 12:33

Вот нашел проект новый, но уже часть нужного функционала есть
adguard home

Спс, буду дальше следить за развитием.


Ответить