Статистика по трафику

[Buzzit]

Добрый день!

Есть такая задачка - собирать статистику по посещенным пользователями сайтам (в основном важно именно http) и представлять ее в удобном для анализа виде -
т.е. за определенный период времени - день, неделя и т.д. для определенного внутреннего IP.

Подскажите, как и какими программными средствами возможно это реализовать.
Роутер 750GL, сервер под обработку - win2008r2.

Пока видно пару решений - получать информацию через NetFlow или получать логи от transparent-proxy.
Попробовал поставить Nport, информация о трафике идет, но совершенно непонятно как ее систематизировать в нем, а так же как быть с отчетами по времени.
Так же нашел простенький анализатор логов http://code.google.com/p/webproxy-log/, но он пока совсем не допилен.

Хочется что-то вроде программки ProxyInspector, но как в нее запихнуть логи от микротика я не разумею(

Подскажите кто как решал подобную задачку...

[iSupport]

сразу так не подскажу, надо подумать

пока пришла мысль - редиректить трафик от микротика на 2008й, там проксить чем-то и возвращать назад

[kvas]

Я использую вот это. Если я конечно правильно тебя понял.

[sudmal]

Я для себя сделал скриптик (linux bash), который конвертирует логи из формата web-proxy в squid-формат, понятный любому анализатору логов, коих тыщщи

wp2sq:

Код: Выделить всё

#!/bin/bash
lines=`cat $1| wc -l`
for l in `seq 1 $lines`;do
 logline=`cat $1|head -n $l|tail -n1`
 dt=`echo $logline|awk '{print $1" "$2" "$3}'`
 datetime=`date +%s -d "$dt"`
 host=`echo $logline|awk '{print $6}'`
 action=`echo $logline|awk '{print $9}'|awk -F"=" '{print $2}'`
 if [ "$action" = "deny" ];then
    hit="TCP_DENIED/403"
    size="0"
 else
    hit="TCP_MISS/200"
    size="100"
 fi
 method=`echo $logline|awk '{print $7}'`
 url=`echo $logline|awk '{print $8}'`

 echo -e "$datetime.000\t1\t$host $hit $size $method $url - DIRECT/0.0.0.0 text/html"
done

Размер скачаного не учитывается, ибо его не отдаёт сам микротик (debug не включал, ибо весь этот вывод парсить- гемор, и скрипт сутки работать будет)

Использовать так:

Код: Выделить всё

wp2sq syslog-mikrotik.log > access.log

syslog-mikrotik.log - это файлик, куда штатный syslog-ng демон сохраняет логи, приходящие от микротиков.
access.log - сконвертированый файл, который можно подсовывать различным squid-анализаторам, например lightsquid

[Холмик]

Чтобы не плодить тем, решил спросить тут. Сразу оговорюсь, я новичок, работу с сетями только начинаю осваивать, поэтому могу задавать тупые вопросы. Итак.

Есть микротиковский роутер. Получает интернет от провайдера, раздаёт его в локальную сеть. Работает DHCP-сервером.
Начальству понадобился "ябедник". Задача: смотреть, кто, куда и когда ходил.

Я начал настраивать на микротике прокси-сервер по этой инструкции: http://www.youtube.com/watch?v=fVsNdJ2O ... ure=colike

Прокси заработал, я не сразу разобрался, как вести лог, но потом всё удалось нормально. Теперь, собственно вопросы.

1. Лог микротик пишет к себе. Размер лога довольно большой, и память забивается очень быстро. Как сделать так, чтобы лог писался на другой компьютер? Или хотя бы на флешку?

2. Я посмотрел структуру лога, для меня в ней куча лишней информации. В принципе, могу написать программку, которая вычленяет то, что мне надо, но наверняка такие штуки уже есть. Что порекомендуете?

[Холмик]

Извините за флуд, пока ждал ответ, сам разобрался.

[iSupport]

за полчаса разобрались, оперативно

поделитесь своим решением с народом =)

[Холмик]

Мне не жалко поделиться, но вопрос внезапно опять завис и снова актуален.
1. Вопрос записи лога я решил быстро и просто. Помогла программа WebProxyLog. В неё входит компонент LogCatcher (резидентная программка ловушки логов, которая слушает 514 порт UDP). Программка ставится на сервер, после чего микротиковский роутер настраивается на пересылку логов на этот комп. Собственно, всё.
Программа лежит здесь: http://code.google.com/p/webproxy-log/ Там же лежит подробная инструкция по настройке роутера для работы с этой программой.
2. Второй вопрос решить толком не удалось. Собственно, об этом ниже.

Теперь собственно те вопросы, которые мне решить не удалось, ибо в сетях и проксях я полный чайник.
1. Видеоинструкция, по которой я настроил прокси, оказалась с "сюрпризом". Прокси, поднятый на ней, оказался рабочим, но открытым для всех. То есть, абсолютно любой пользователь интернета мог прописать в свойствах браузера этот прокси как анонимный, и наслаждаться полной безопасностью. Неладное я заподозрил на третий день после просмотра логов. На данный момент пришлось отключить эту конфигурацию. Поэтому, буду крайне благодарен за советы по доводке данной конфигурации до ума. Задача: прокси-сервером могут пользоваться только участники локальной сети.
2. Логи я ловить научился. Но проблема в том, что программой WebProxyLog вычленить нужную информацию фактически нереально. Потому что ловится любое обращение со странички. Грубый пример. Захожу на mail.ru. Читаю почту, потом иду на Рамблер. Смотрю логи. Оказывается, я заходил и на мейл, и на рамблер, и на вконтакт, и на одноклассники, и на кучу разных порталов, про которые вообще никогда не слышал. Про различные счётчики я вообще молчу. Я подозреваю, что это каким-то образом работает активное содержимое этих страничек. То есть, картина создаётся совершенно ложная. Пользователь зашёл на пару сайтов, а в логах отобразился чуть ли не десяток, в том числе и адреса соцсетей, увлечение которыми на работе хоть и не запрещено, но и не поощряется. И как с этим быть?

Вот такие пироги. Вроде как решил вопрос, но появилась ещё куча. И что делать - не знаю.

[Dragon_Knight]

Прокси необходимо просто заблочить в фаерволе.

Код: Выделить всё

add action=drop chain=input comment="No public proxy" disabled=no dst-port=8080 in-interface=NICOS protocol=tcp src-address=0.0.0.0/0

[Холмик]

add action=drop chain=input comment="No public proxy" disabled=no dst-port=8080 in-interface=NICOS protocol=tcp src-address=0.0.0.0/0

Не получилось.

bad command name add (line 1 column 1)