Утилита обработки LOG-файлов

Здесь выкладываем скрипты
Ответить
kreotoDr
Сообщения: 13
Зарегистрирован: 31 мар 2018, 09:13

23 май 2018, 08:09

Добрый день форумчане!
Написал для себя утилиту обработки LOG файлов..( -= Microtik LOG(s) Utils =-)
Возможно пригодится...
 Readme.txt

Код: Выделить всё

 
               ##################################################################################
               #                                    ~~~~                                        #
               #                        -= Microtik LOG(s) Utils =-                             #
               #                                                                                #
               #             (c) LitleKinder SoftWare (c) CopyRight 1998-2018                   #
               #                                                                                #
               #                    Email    :  oleksandr.nosar@gmail.com                       #
               #                    Telegramm:  +38(067)546-76-03                               #
               #                                    ~~~~                                        #
               ##################################################################################
 
 
1. Назначение:
    Данная программа производит анализ ЛОГ файлов, которые формируются роутером Mikrotik.
 
 
2. Принцип работы:
    После  первого  запуска   программа  создает  файл  MikrotikLogUtils.ini.  в  директории  MikrotikLogUtils_System. 
    в котором необходимо установить физический путь к ЛОГ файлам. в трех разных категориях:
              [Traffic Calc]
              [EjectLog]
              [FilterLog]
 
    По умолчанию пути принимают значения:
              .\Sample_LOG_Files\TMP_LOG_TRAFF\
              .\Sample_LOG_Files\TMP_LOG_Eject\
              .\Sample_LOG_Files\TMP_LOG_Filter\
 
    В которых содержатся тестовые LOG файлы.
    Несколько слов о разделах ini файла.
              [Main]         - общие установки.
              [Traffic Calc] - установки для LOG файлов, в которых содержится информация об объеме траффика.
              [EjectLog]     - установки для LOG файлов, из которых будет извлекаться информация.
              [FilterLog]    - установки для LOG файлов, содержимое, которых будет подвержено фильтрации.
 
 
3. Что может данная программа и зачем она нужна:
    Изначально MikrotikLogUtils задумывалась как программа, которая будет извлекать, данные о потребленном за день/неделю
    месяц  - объеме траффика. Реализовано это с помощью скрипта (находится в папке Sample_SCRIPTS), который формирует LOG
    файл с масками (Pattern) типа (Traffic In/Traffic Up/Traffic All). Данные маски могут быть другими, (например Траффик)
    Траффик ко мне, Траффик от меня и тд...) Поиск по данным маскам осуществляется  с помощью установки {Pattern Traffic}.
 
    Примеры масок:
              Pattern Traffic In                 = Traffic In   -
              Pattern Traffic Up                 = Traffic Up   -
              Pattern Traffic All                = Traffic All  -
 
    Далее, появилась задача  формировать свои BAN списки (опять таки на основании данных LOG файлов. При этом в программе)
    реализована функция создания готовых к загрузке в Роутер списков, вида:
              /ip firewall address-list
              add list=MyBlackList address=178.124.161.206 comment=MyBlackList_Perebor
              add list=MyBlackList address=185.222.209.151 comment=MyBlackList_Perebor
 
    Учитывая огромный объем информации в LOG файлах, крайне трудно отследить искомый IP адрес (например). И его поведение
    С этой целью,  добавлена третья функция - извлечение (фильтрация LOG файлов по трем уровням фильтров). Опционально ре-
    ализовано фильтр отрицания (!). То есть будет искаться все, что не содержит данный фильтр..
 
 
4. Гарантии, лицензия, отказ от ответственности:
    Программа поставляется на условиях 'КАК-ЕСТЬ', То есть я снимаю всякую ответственность за возможные ошибки, содержащиеся
    в программе и последствия вызванные таковыми.
 
 
5. Если есть идеи, пишем на oleksandr.nosar@gmail.com
   Описательная часть, (написана/описана) крайне быстро и скомкано, так как все делалось исключительно под себя/для себя.
   Если будут вопросы и желание пообщаться, всегда к Вашим услугам  - Telegramm, Viber (+380675467603)
 
 
6. Известные проблемы
   Данная программа писалась и тестировалась на Win10 x64 (10.0.14393). Работоспособность на других системах не гарантируется.
   Не запускать из папок, в которых содержится кириллица!!!
   Если программа не запустится, то нужно зарегистрировать библиотеки:
              .\MikrotikLogUtils_Dll\comdlg32.ocx
              .\MikrotikLogUtils_Dll\Mscomctl.ocx
              .\MikrotikLogUtils_Dll\Msinet.ocx
              .\MikrotikLogUtils_Dll\Mswinsck.ocx
              .\MikrotikLogUtils_Dll\Tabctl32.ocx
 
   Пример регистрации:  regsvr32.exe  /s comdlg32.ocx   
 
 
7. Если Вам очень понравилось моя программа и есть желание отблагодарить:
    Ни в коем случае не стоит пренебречь данным желанием;)
    Яндекc Деньги: 410013190712045
    WebMoney     : R282691465680, Z330585249900
    QiWi         : +380675467603 


dima.plut
Сообщения: 2
Зарегистрирован: 02 окт 2018, 08:27

03 окт 2018, 15:30

вирус


Аватара пользователя
podarok66
Модератор
Сообщения: 3079
Зарегистрирован: 11 фев 2012, 18:49
Откуда: МО

05 окт 2018, 06:55

dima.plut писал(а):
03 окт 2018, 15:30
вирус
Суровое заявление, не подкреплённое ничем. На первый раз ограничусь устным предупреждением.
Нужно приложить:
1. Какая из ссылок заражена
2. Чем проверялось
3. Выводы антивируса по определению типа вируса и предложения по лечению.
Заявления, подобные вашему, более смахивают на плевок в сторону ТС. А этого не стоит делать.


Мануалы изучил и нигде не ошибся? Фаервол отключил? Очереди погасил? Витая пара проверена? ... Тогда Netinstal'ом железку прошей и настрой ее заново. Что, все равно не фурычит? Тогда к нам. Если не подскажем, хоть посочувствуем...
Аватара пользователя
podarok66
Модератор
Сообщения: 3079
Зарегистрирован: 11 фев 2012, 18:49
Откуда: МО

08 окт 2018, 12:26

Так, мне тут в личку прислал dima.plut репорт от вирустотал. Публикую, так как не вижу ничего личного:
1 - Compilation timestamp 2015-11-18 09:15:19
2 - AegisLab Gen.Variant.Ursu! C 20181007
Arcbit Trojan.Barys.D898 20181008
стой Win32: вредоносные программы поколение 20181008
AVG Win32: вредоносные программы поколение 20181008
Авира (без облаков) TR / Dropper.Gen 20181007
BitDefender Gen: Variant.Barys.2200 20181007
CrowdStrike Falcon (ML) malicious_confidence_70% (D) 20180723
Cybereason malicious.388446 20180225
Cylance небезопасный 20181008
Cyren W32 / Trojan.ELYK-9138 20181008
Emsisoft Gen: Вариант.Barys.2200 (B) 20181008
F-Secure Gen: Variant.Barys.2200 20181008
GData Gen: Variant.Barys.2200 20181008
Ikarus Trojan.dropper 20181007
Sophos ML эвристический 20180717
МАКСИМУМ вредоносное ПО (ai score = 96) 20181008
McAfee Артемида! 330917C38844 20181008
McAfee-GW-издание BehavesLike.Win32.Dropper.vc 20181008
eScan Gen: Variant.Barys.2200 20181007
Qihoo-360 Win32 / Trojan.500 20181008
TrendMicro-HouseCall TROJ_GE.B1AB6E63 20181008

https://www.virustotal.com/

Win10Pro Trojan:Win32/Bitrep.A
И здесь же приведу свой ответ, потому как пишу вещи, важные для многих.

Во-первых, почему в личку? Или вы сомневаетесь в своих выводах?
Во-вторых, по личному опыту - вирустотал половину парсеров в опасные заносит и на этом основании кидаться заявлением "вирус!" похоже на выводы слепого мальчишки, по запаху причислившего сыр к явно испорченным и непригодным к употреблению продуктам.
В-третьих, я запускал данную программулину у себя. Вреда не заметил. Просто я привык читать логи и без парсеров, поэтому как бы и не заинтересовался. А в целом вполне годная вещь. Пусть не для всех, но своих почитателей может найти несомненно.
Ну и в-четвёртых, напишите автору, его электронный адрес я вам в личку дам. Сообщите, если вы настолько подозрительны, о выводах вирустотал.


Мануалы изучил и нигде не ошибся? Фаервол отключил? Очереди погасил? Витая пара проверена? ... Тогда Netinstal'ом железку прошей и настрой ее заново. Что, все равно не фурычит? Тогда к нам. Если не подскажем, хоть посочувствуем...
kreotoDr
Сообщения: 13
Зарегистрирован: 31 мар 2018, 09:13

11 янв 2019, 12:03

Всем привет!
Спустя пол года обновил тулзу...
"....Будучи счастливым обладателем роутера Mikrotik задался рядом частных задач, связанных с быстрым извлечением нужной информации из Log файлов, средствами VB"

Возможности:
1. Извлечение данных о траффике;
2. Извлечение данных по трем настраиваемым фильтрам;
3. Формирование BlackList(ов) по заданным условиям;
4. Загрузка BlackList(ов) с (http://joshaven.com/malc0de.rsc) с дальнейшим включением в BlackList;
3. В комплекте полезные скрипты (.\Sample_Scripts\);
4. Куча всего другого;
5. Поддержка оси Win 7/8/8.1/10 (для трех последних нужна права админа);
6. Авто обновление, отправка статистики на почту (FTP);
7. Логи, Ини и тд.

Проект не закончен.
На сегодня работает довольно таки стабильно.
Если кого-то заинтересует выложу исходники...
Изображение Изображение
Изображение Изображение Изображение

Ссылки для скачивания:
https://drive.google.com/open?id=1p4Q4K ... v4UE2MY_G3
https://yadi.sk/d/nRv5AncETq87hQ


Аватара пользователя
podarok66
Модератор
Сообщения: 3079
Зарегистрирован: 11 фев 2012, 18:49
Откуда: МО

13 янв 2019, 22:10

Спасибо, надеюсь к этой утилите присмотрятся, и станут пользоваться. Мне идея нравится.
А сайт с "чёрным" списком ваш?


Мануалы изучил и нигде не ошибся? Фаервол отключил? Очереди погасил? Витая пара проверена? ... Тогда Netinstal'ом железку прошей и настрой ее заново. Что, все равно не фурычит? Тогда к нам. Если не подскажем, хоть посочувствуем...
kreotoDr
Сообщения: 13
Зарегистрирован: 31 мар 2018, 09:13

14 янв 2019, 15:21

podarok66 писал(а):
13 янв 2019, 22:10
Спасибо, надеюсь к этой утилите присмотрятся, и станут пользоваться. Мне идея нравится.
А сайт с "чёрным" списком ваш?
он формируется на основе:

1. все что парсится из логов Микротика по заданной маске (HACK, DROP...) Маска задается в INI

Код: Выделить всё

[EjectLog]
......
Prefix LOG files                   = Perebor|Scan|Bagon|Flood
2. все что качается с :
http://joshaven.com/spamhaus.rsc
http://joshaven.com/dshield.rsc
http://joshaven.com/malc0de.rsc

Код: Выделить всё

[EjectLog]
......
WEB Link #1                        = http://joshaven.com/spamhaus.rsc
WEB Link #2                        = http://joshaven.com/dshield.rsc
WEB Link #3                        = http://joshaven.com/malc0de.rsc
File Name WEB Link #1              = spamhaus.rsc
File Name WEB Link #2              = dshield.rsc
File Name WEB Link #3              = malc0de.rsc
ссылки могут быть любые (задается в INI)

3. все что лежит в репозитории. расположения репозитория также в INI

Код: Выделить всё

[EjectLog]
......
Repository for Complex .rcs Files  = C:\


полный листинг INI

Код: Выделить всё

          #################################################################################
               #                                    ~~~~                                        #
               #                        -= Mikrotik LOG(s) Utils =-                             #
               #             (c) LitleKinder SoftWare (c) CopyRight 1998-2019                   #
               #                      Email:  oleksandr.nosar@gmail.com                         #
               #                                    ~~~~                                        #
               ##################################################################################

Last Data change:    14.01.2019
Last Time change:    14:17:54

[Main]
LoggetInFiles                      = Yes
LoggetInteractive                  = Yes
Update on Start                    = Yes
FTP Adress Update Server #1        = 194.63.142.222
FTP User   Update Server #1        = MikrotikUsers
FTP Pass   Update Server #1        = --Mikrotik@Pass--
FTP Adress Update Server #2        = 95.67.86.12
FTP User   Update Server #2        = MikrotikUsers
FTP Pass   Update Server #2        = ~~Mikrotik@Pass~~

[Traffic Calc]
Path LOG Files                     = D:\Back_UP\Creation\Mikrotik\_BUID_EXE_BIN\Sample_LOG_Files\TMP_LOG_TRAFF\
Pattern LOG Files                  = MikroTik*.txt
Pattern Traffic In                 = Traffic In
Pattern Traffic Up                 = Traffic Up
Pattern Traffic All                = Traffic All
Open Report Files on Exit          = Yes
Report file Txt                    = TrafficCalc
Report file Csv                    = TrafficCalc
Traffic units                      = mB

[EjectLog]
Path Files for EjectLog            = D:\Back_UP\Creation\Mikrotik\_BUID_EXE_BIN\Sample_LOG_Files\TMP_LOG_Eject\
Pattern Files for EjectLog         = *.txt
Prefix LOG files                   = Perebor|Scan
Open Report Files on EjectLog      = Yes
Copy .rsc Files to Upload          = Yes
Path for Copy .rsc Files           = C:\
Create Complex .rcs Files          = Yes
Repository for Complex .rcs Files  = C:\
Name Complex .rsc Files            = ComplexHackList.rsc
Download file from WEB             = Yes
WEB Link #1                        = http://joshaven.com/spamhaus.rsc
WEB Link #2                        = http://joshaven.com/dshield.rsc
WEB Link #3                        = http://joshaven.com/malc0de.rsc
File Name WEB Link #1              = spamhaus.rsc
File Name WEB Link #2              = dshield.rsc
File Name WEB Link #3              = malc0de.rsc

[FilterLog]
Path Files for FilterLog           = D:\Back_UP\Creation\Mikrotik\_BUID_EXE_BIN\Sample_LOG_Files\TMP_LOG_Filter\
Pattern Files for FilterLog        = *.txt
Pattern Files #1                   = Perebor
Pattern Files #2                   = 89.255.94.14
Pattern Files #3                   = 52110
NOT Files #1                       = No
NOT Files #2                       = No
NOT Files #3                       = No
Open Report Files on Filter        = Yes

# 
#                                                    ~
#                                                   ~~~
#                                                 ~~~~~~~~
#                                            ~~~~~~~~~~~~~~~~~~~
# 
#                                     Файл настроек программы Mikrotik LOG(s) Utils
#                     Все настройки менять, только при полном понимании, того что делаем
#                                 В противном случае возможны ошибки работы программы...
#
#
#  Все записи, которые начинаются с {#} {#} {,} {.} {//} {'} {rem}  игнорируются, то есть это комменты
#
#  Описание, назначение параметров...
#  Регистр не важен Yes и yEs будет восприниматься корректно.
#  Положение знака = не важно.
#                             Pattern Traffic All                = Traffic All  -
#                             Pattern Traffic All = Traffic All  -
#  Одинаковые записи.
#  Для однозначных ответов - Yes/No
#
#
#
#
#                                             !!! ВАЖНО !!!
#
#  Во всех строках при чтении усекаются пробелы и табуляции
#
#  Пример: 
#    Path LOG Files = c:\Ftp_MikroTik\log_Traffic\       
#    Path LOG Files =         c:\Mediaserver\Ftp_MikroTik\log_Traffic\    
#    Path LOG Files =              c:\Mediaserver\Ftp_MikroTik\log_Traffic\ 
#
#    Будет считано значение [c:\Mediaserver\Ftp_MikroTik\log_Traffic\]
#
# 
# 
# 
#                                       ~~~ Описание параметров ~~~~
# 
# 
# [Main]
#       Path LOG Files                        = полный путь к LOG файлам MikroTik, возможные варианты                         [ПУТЬ к ПАПКЕ СО СЛЕШЕМ]
#       Pattern Traffic In                    = маска/индикатор входящего трафика (строка, которую ищем в LOG файле)          [ЛЮБАЯ СТРОКА]
#       Pattern Traffic Up                    = маска/индикатор исходящего трафика (строка, которую ищем в LOG файле)         [ЛЮБАЯ СТРОКА]
#       Pattern Traffic All                   = маска/индикатор суммарного трафика (строка, которую ищем в LOG файле)         [ЛЮБАЯ СТРОКА]
#       Open Report Files on Exit             = открывать файл отчета при выходе из программы                                 [Yes/No]
#
# [Report]
#       Report file Txt                       = имя файла отчета  Txt                                                         [ЛЮБАЯ СТРОКА]
#       Report file Txt                       = имя файла отчета  CSV                                                         [ЛЮБАЯ СТРОКА]
#       Traffic units                         = единицы измерения в отчете                                                    [bit/bT/kB/mB/gB/tB]
#
#
#                                            ~~~~~~~~~~~~~~~~~~~
#                                                 ~~~~~~~~
#                                                   ~~~
#                                                    ~
#
#
4. .....помимо этого, все что лежит в черном списке
5. .....и за исключением всего что лежит в белом списке.

Одним словом безграничный полет для фантазий...)))


Ответить