RouterOS и кодировка SMS UCS-2

Здесь выкладываем скрипты
Аватара пользователя
Dragon_Knight
Модератор
Сообщения: 1661
Зарегистрирован: 26 мар 2012, 18:21
Откуда: МО, Мытищи
Контактная информация:

08 июн 2017, 23:44

Всем привет.

Никто не в курсе, что происходит с поддержкой приёма и отправки SMS в кодировке UCS-2?
Когда столкнулся с этой проблемой прошло уже года 4, а RouterOS по прежнему не читает SMS в русской кодировке.
Изображение



Помощь в ремонте и настройке оборудования MikroTik, Мытищи, Москва.
Дома: [RouterBOARD CCR1009-8G-1S-1S+] + [RouterBOARD cAP 2n] + [RouterBOARD Groove A-2Hn-32] + [D-Link ANT24-0800];
Работа 1: [RouterBOARD RB493G] + [MikroTik R52H] + [MikroTik CA493] + [D-Link ANT24-0800] + [RouterBOARD SXT G-2HnD];
Работа 2: [RouterBOARD RB2011UiAS-IN];
Резерв: [RouterBOARD RB450G];
Аватара пользователя
podarok66
Модератор
Сообщения: 3423
Зарегистрирован: 11 фев 2012, 18:49
Откуда: МО

09 июн 2017, 19:39

Не читало, не читает и нет никакой надежды, что станет читать...


Мануалы изучил и нигде не ошибся? Фаервол отключил? Очереди погасил? Витая пара проверена? ... Тогда Netinstal'ом железку прошей и настрой ее заново. Что, все равно не фурычит? Тогда к нам. Если не подскажем, хоть посочувствуем...
guruks
Сообщения: 27
Зарегистрирован: 03 сен 2016, 13:29

03 июл 2017, 13:39

Свет в конце тунеля? =)

в тестовой ветке 6.40rc28 нашел такое =) пока не тестил, кто проверит отпишитесь
*) sms - decode reports in readable format;


Аватара пользователя
Kato
Сообщения: 234
Зарегистрирован: 17 май 2016, 04:23
Откуда: Primorye

03 июл 2017, 13:46

появилось еще в 24 ревизии


Erik_U
Сообщения: 1012
Зарегистрирован: 09 июл 2014, 12:33

03 июл 2017, 13:50

на rb912 как включить прием (отображение) смс с модема mPCI-e?
В настройках есть только порт USB, на него ругается.

Главная потребность - иметь возможность удалить, чтобы освободить память.


guruks
Сообщения: 27
Зарегистрирован: 03 сен 2016, 13:29

04 июл 2017, 10:00

Kato писал(а):появилось еще в 24 ревизии


А Вы не проверяли? просто страшновато апгрейтить рабочие железки, а тестовой с USB портом нету(


Аватара пользователя
Kato
Сообщения: 234
Зарегистрирован: 17 май 2016, 04:23
Откуда: Primorye

05 июл 2017, 03:05

не проверял


guruks
Сообщения: 27
Зарегистрирован: 03 сен 2016, 13:29

06 авг 2017, 15:51

Обновился до версии 6.40.1 и попробовал получить смски, и вот что увидел=(

ИзображениеИзображение


Rabinovitch
Сообщения: 2
Зарегистрирован: 10 мар 2018, 11:55

10 мар 2018, 12:06

Приветствую!

Уж не знаю, что у меня за кодировка, но вопрос будет в тему, надеюсь.

Настроил SMS, мне на смартфон отправляются нормально, читабельно, латиницей. Настроил латиницу через SMS-центр, в программе Мегафон-Интернет всё приходит нормально, латиницей. Если же сим-карта вставлена в модем "Тандем 4G", то имеем следующее:


Изображение

Сверху сообщения "Test!", "12", "3". Дичь какая-то. От оператора тоже ересь приходит. И что за странный Timestamp? В Winbox (System -> Clock) время отображается адекватное.

Не подскажете, куда копать? В поддержку изготовителя модема?

p.s. RouterOS 6.40.5.


Andrey.Radomanov
Сообщения: 5
Зарегистрирован: 28 фев 2018, 10:43

01 мар 2019, 15:01

Вот скрипт, который я в итоге создал, чтобы обойти проблему с кириллицей в SMS. Я транслитерирую русские символы в латинские, чтобы их можно было напечтать в журнал. Скрипт работает корректно с модемами Huawei 121. С RBE-11E тоже работает, но кажется там отсекается лишний символ на конце (можете подправить код под свой модем, чтобы избавиться от этой проблемы). Все символы, которые не распознались скриптом печатаются в строке в квадратных скобках.
Лично у себя я назвал этот скрипт "sms_patrol" и поставил его на запуск раз в час. Для журнала warning и выше я рекомендую настроить запись на диск, поэтому вы не пропустите сообщения, даже если роутер перезагружался. В нижней части скрипта вы можете реализовать анализ сообщений. Например, я каждую ночь выполняю USSD-запрос другим скриптом, а в теле этого в нижней части (где цикл по массиву buffer) я добавил поиск нужных слов и если баланс ниже отметки - то мне пишется сообщение в телеграм.

В этом же скрипте в двух местах вы найдете реализацию декодера UCS-2 7-bit кодировки. Надеюсь это будет кому-то полезно.

Пишите, если у вас будут проблемы, посмотрим что можно будет с этим сделать.

Код: Выделить всё

#Скрипт для проверки SMS на роутерах Mikrotik. Автор: Андрей Радоманов.
#:log info "Задаем режим работы в PDU-режиме.";
/interface lte at-chat lte1 input="AT+CMGF=0";

#:log info "Обрабатываем SMS...";
:local content [/interface lte at-chat lte1 input="AT+CMGL=4" as-value];
:set content ($content->"output");

:local smsArray ({});

:if ([:len $content]>2) do={

  :local symbols {"-";" ";" ";"!";"\"";"#";"\$";"%";"&";"'";"(";")";"*";"+";",";"-";".";"/";"0";"1";"2";"3";"4";"5";"6";"7";"8";"9";":";";";"<";"=";">";"?";"@";"A";"B";"C";"D";"E";"F";"G";"H";"I";"J";"K";"L";"M";"N";"O";"P";"Q";"R";"S";"T";"U";"V";"W";"X";"Y";"Z";"[";"\\";"]";"^";"_";"`";"a";"b";"c";"d";"e";"f";"g";"h";"i";"j";"k";"l";"m";"n";"o";"p";"q";"r";"s";"t";"u";"v";"w";"x";"y";"z";"{";"|";"}";"~"};

  :local symbolsUTF [:toarray "2013,000A,0020,0021,0022,0023,0024,0025,0026,0027,0028,0029,002A,002B,002C,002D,002E,002F,0030,0031,0032,0033,0034,0035,0036,0037,0038,0039,003A,003B,003C,003D,003E,003F,0040,0041,0042,0043,0044,0045,0046,0047,0048,0049,004A,004B,004C,004D,004E,004F,0050,0051,0052,0053,0054,0055,0056,0057,0058,0059,005A,005B,005C,005D,005E,005F,0060,0061,0062,0063,0064,0065,0066,0067,0068,0069,006A,006B,006C,006D,006E,006F,0070,0071,0072,0073,0074,0075,0076,0077,0078,0079,007A,007B,007C,007D,007E"];

  :local symbolsRus [:toarray "A,B,V,G,D,E,Yo,Zh,Z,I,Y,K,L,M,N,O,P,R,S,T,U,F,Kh,C,Ch,Sh,Sch,',I,',E,Yu,Ya,a,b,v,g,d,e,yo,zh,z,i,y,k,l,m,n,o,p,r,s,t,u,f,kh,c,ch,sh,sch,',i,',e,yu,ya,_,!,_,_,_,%,&,',(,),*,+,_,-,.,/,0,1,2,3,4,5,6,7,8,9"];

  :local symbolsRusUTF [:toarray "0410,0411,0412,0413,0414,0415,0401,0416,0417,0418,0419,041A,041B,041C,041D,041E,041F,0420,0421,0422,0423,0424,0425,0426,0427,0428,0429,042A,042B,042C,042D,042E,042F,0430,0431,0432,0433,0434,0435,0451,0436,0437,0438,0439,043A,043B,043C,043D,043E,043F,0440,0441,0442,0443,0444,0445,0446,0447,0448,0449,044A,044B,044C,044D,044E,044F"];


  :local hexstr "0123456789ABCDEF";
  :local ascii " !\"#\$%&'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\\]^_`abcdefghijklmnopqrstuvwxyz{|}~";

  :local contentLen [ :len $content ] ;  
  :local lineEnd 0;
  :local lineStart 0;
  :local line "";

  :do {
     :if ($lineEnd = 0) do={
       #Обходим глюк - если LineEnd=0, то поиск не находит первого вхождения
       :set lineStart [:find $content "+CMGL:"] ;
      } else={
       :set lineStart [:find $content "MGL:" ($lineEnd-1)] ;
      };
    :if ([:typeof $lineStart] = "num") do={
       :set lineEnd [:find $content "MGL:" $lineStart] ;
       :if ([:typeof $lineEnd] = "nil") do={
         :set lineEnd [:find $content "\nOK" $lineStart] ;
         :if ([:typeof $lineEnd] = "nil") do={
           :set lineEnd $contentLen;
          }
        }
       :set line [:pick $content $lineStart $lineEnd];
       :local i;

       :if (( [:typeof [:find $line "MGL"]] != "nil" ) and ([:typeof [:find $line "\n"]] != "nil")) do={
         :local sms [:pick $line ([:find $line "\n"]+1) ([:len $line]-1)];
         :local pduEnd 0;
         :local smsLen [:len $sms];
         :local pduPartNum 1;
         :local curPos 0;
         :local smsTS;
         :local smsFrom;
         :local smsNum "0000";
         :local dcs "00";
         :while (($pduPartNum < 8) and ($curPos < $smsLen)) do={
           #См. http://embeddedpro.ucoz.ru/app_notes/send_short_SMS/PDU1.pdf
           #Хуавей не отдает первый байт с длиной SCA, поэтому исходим из стандартных 12 символов + 2 символа на тип номера.=14
           :local pduPartLen;
           :if ($pduPartNum = 1) do={ #SCA - Service Center Address
             :set pduPartLen 14;
           }
           :if ($pduPartNum = 2) do={#PDU Type. Пока что он нас не интересует. Пропускаем заодно
             :set pduPartLen 2;
           }
           :if ($pduPartNum = 3) do={ #OA - Originator Address
             #Тут уже все по настоящему - номер отправителя передается в формате SCA/OA. В первом байте шифруется кол-во цифр в номере  
             :local tmpHex1 [:pick $sms $curPos ($curPos+1)]
             :local tmpHex2 [:pick $sms ($curPos+1) ($curPos+2)]
             :local fromLen;
             :set pduPartLen 0;
             :if ([:typeof [:find $hexstr $tmpHex1]] = "num") do={
               :set fromLen ([:find $hexstr $tmpHex1] * 16);
             }
             :if ([:typeof [:find $hexstr $tmpHex2]] = "num") do={
               :set fromLen ([:find $hexstr $tmpHex2]+$fromLen);
             }
              #Если число цифр в номере было не четное - округляем до ближайшего четного
              if ( [:pick [:tostr (($fromLen*10)/2)] ([:len [:tostr (($fromLen*10)/2)]]-1) [:len [:tostr (($fromLen*10)/2)]]] = "5") do={
                :set pduPartLen ($fromLen+1);
              } else={
                :set pduPartLen $fromLen;
              }

             #Добавляем 2 байта - один указывал кол-во цифр, второй - это нотация номера ("91")
             :set pduPartLen ($pduPartLen+4);
             if (([:pick $sms ($curPos+2) ($curPos+4)]="91") or ([:pick $sms ($curPos+2) ($curPos+4)]="81")) do={
               :set smsFrom "+";
               :for i from=0 to=($fromLen-1) do={
                  if ( [:pick [:tostr (($i*10)/2)] ([:len [:tostr (($i*10)/2)]]-1) [:len [:tostr (($i*10)/2)]]] = "5") do={
                   :set smsFrom ($smsFrom.[:pick $sms ($curPos+4+$i-1)]);
                  } else {
                   :set smsFrom ($smsFrom.[:pick $sms ($curPos+4+$i+1)]);
                  }
               }
             } else={
              :set smsFrom [:pick $sms ($curPos+2) ($curPos+$pduPartLen)];
              #Если это 7-byte сообщение - делаем распаковку
              :if ([:pick $smsFrom 0 2] = "D0") do={
                :set smsFrom [:pick $smsFrom 2 [:len $smsFrom]];
                :local curbit 0;
                :local nextpart 0;
                :local smsDecoded "";
                :for i from=0 to=([:len $smsFrom]-1) step=2 do={
                  :local tmp [:pick $smsFrom $i];
                  :local charcode ([:find "0123456789ABCDEF" $tmp]*16);
                  :set tmp [:pick $smsFrom ($i+1)];
                  :set charcode ($charcode+[:find "0123456789ABCDEF" $tmp]);
                  :if ($curbit<7) do={
                    :set tmp ($charcode & (127>>$curbit)); #Отсекаем левую часть битов (столько битов, сколько нужно отсечь)
                    :set tmp ($tmp<<$curbit);
                    :set tmp ($tmp + $nextpart); #Прибавляем то, что осталось от предыдущей части
                    :set nextpart ($charcode>>(7-$curbit));
                    :set curbit ($curbit+1);
                   }
                  :set smsDecoded ($smsDecoded.[:pick $ascii ($tmp-32)]);
                  :if ($curbit=7) do={
                    :set tmp $nextpart;
                    :set curbit 0;
                    :set nextpart 0;
                    :set smsDecoded ($smsDecoded.[:pick $ascii ($tmp-32)]);
                  }
                 }
               :set smsFrom $smsDecoded;
               }
             }
             #:put ("FROM: ".$smsFrom);
           }
           :if ($pduPartNum = 4) do={ #PID - Protocol Identifier

              :set pduPartLen 2;
           }
           :if ($pduPartNum = 5) do={ #DCS -  Data Coding Scheme
             :set pduPartLen 2;
             #08 - без сжатия, 16-бит Unicode
             #00 - USC2 7-bit (сжатая)
             :set dcs [:pick $sms $curPos ($curPos+2)];
           }
           :if ($pduPartNum = 6) do={ #SCTS - Service Centre Time Stamp
             :set pduPartLen 14;
             :set smsTS "20";
             :for i from=0 to=11 do={
                if ( [:pick [:tostr (($i*10)/2)] ([:len [:tostr (($i*10)/2)]]-1) [:len [:tostr (($i*10)/2)]]] = "5") do={
                 :set smsTS ($smsTS.[:pick $sms ($curPos+$i-1)]);
                } else {
                 :set smsTS ($smsTS.[:pick $sms ($curPos+$i+1)]);
                }
             }
           }
           :if ($pduPartNum = 7) do={ #UDL - User Data Length
              :set pduPartLen 2;
           }
           :if ($pduPartLen = 0) do={
             #:put ("could not detect Pdu len for part:".$pduPartNum);
             :set pduPartLen 2;
           }
           #:put ("PDU PART ".$pduPartNum.": ".[:pick $sms $curPos ($curPos+$pduPartLen)]);
           :set curPos ($curPos+$pduPartLen);
           :set pduPartNum ($pduPartNum+1);
           :set pduEnd $curPos;
         }
         #:log info ("PDU END: ".$pduEnd);
         :if ($pduEnd = 0) do={
           :log error ("Не удалось определить конец PDU в следующем сообщении: ".[:pick $sms 0 72]);
           :set pduEnd 58;
         }

         #:put ("PDU:".[:pick $sms 0 $pduEnd]);
         :set sms [:pick $sms $pduEnd [:len $sms]];

         :local udh [:pick $sms 0 2];
         #Если у сообщения есть UDH - декодируем его, заодно заполняя необходимые номера сообщений
         :if ($udh = "05") do={
           #:put ("UDH: ".[:pick $sms 0 12]);
           :set smsNum ([:pick $sms 6 8].[:pick $sms 10 12]); #4-й байт - уникальный ИД, 6-й номер сообщения
           :set sms [:pick $sms 12 [:len $sms]];
         }
         #Если это UTF16 сообщение - делаем транслит
         :if ($dcs = "08") do={
           :local decodedSMS "";
           :for i from=0 to=([:len $sms]-1) step=4 do={
             :local char [:pick $sms $i ($i+4)];
             :local ind [:find $symbolsRusUTF $char];
             :if ([:typeof $ind]="num") do={
               :set decodedSMS ($decodedSMS.[:pick $symbolsRus $ind]);
             } else={
               :set ind [:find $symbolsUTF $char];
               :if ([:typeof $ind]="num") do={
                 :set decodedSMS ($decodedSMS.[:pick $symbols $ind]);
               } else={
                 :if ($char!="\r") do={
                   :set decodedSMS ($decodedSMS."[".$char."]");
                 }
               }
             }
           }
           :set sms $decodedSMS;
         }
         #Если это 7-byte сообщение - делаем распаковку
         :if ($dcs = "00") do={
            #:put ("UCS2: ".$sms);
            :local curbit 0;
            :local nextpart 0;
            :local smsDecoded "";
            :for i from=0 to=([:len $sms]-1) step=2 do={
              :local tmp [:pick $sms $i];
              :local charcode ([:find "0123456789ABCDEF" $tmp]*16);
              :set tmp [:pick $sms ($i+1)];
              :set charcode ($charcode+[:find "0123456789ABCDEF" $tmp]);
              :if ($curbit<7) do={
                :set tmp ($charcode & (127>>$curbit)); #Отсекаем левую часть битов (столько битов, сколько нужно отсечь)
                :set tmp ($tmp<<$curbit);
                :set tmp ($tmp + $nextpart); #Прибавляем то, что осталось от предыдущей части
                :set nextpart ($charcode>>(7-$curbit));
                :set curbit ($curbit+1);
              }
              :set smsDecoded ($smsDecoded.[:pick $ascii ($tmp-32)]);
              :if ($curbit=7) do={
                :set tmp $nextpart;
                :set curbit 0;
                :set nextpart 0;
                :set smsDecoded ($smsDecoded.[:pick $ascii ($tmp-32)]);
              }
            }
            :set sms $smsDecoded;
         }
         #:log info ("SET ".($smsTS.$smsNum)." ".$sms);
         :set ($smsArray->($smsTS.$smsFrom.$smsNum)) $sms;
        }
     } else={
       :set lineEnd $contentLen;
     }
   } while ($lineEnd > 0 and $lineEnd < $contentLen)
 }

#:log info ("Текст SMS: ".$smsResult)
#Реконструируем в отдельные СМС - первые символы - Дата и Телефон отправителя SMS, последние 4 - порядковый номер
:local buffer ({});
:foreach k,v in=$smsArray do={
  :local smsId [:pick $k 0 ([:len $k]-4)];
  :local smsFrom [:pick $k 0 ([:len $k]-4)];
  :set ($buffer->$smsId) ($buffer->$smsId . $v);
  :set ($smsArray->$k);
}
:foreach k,v in=$buffer do={
 :log warning ("[".[:pick $k 6 8].".".[:pick $k 4 6].".".[:pick $k 0 4]." ".[:pick $k 8 10].":".[:pick $k 10 12].":".[:pick $k 12 14]."] SMS from ".[:pick $k 14 [:len $k]].": $v");
 :set ($buffer->$k);
}

#Стираем все SMS, чтобы не дублировать анализ
/interface lte at-chat lte1 input="AT+CMGD=1,4";


Ответить