[Problem] Threads explodieren

[martin_g]

Mein Monitoring System beschwert sich immer wieder, dass auf meinem Asterisk extrem viele Threads laufen. Ich habe schon gelesen, dass Asterisk einige Threads erstellt, aber mir kommt das schon sehr viel vor. Und ich habe auch gelesen, dass man die Threads durch die Anzahl der maximalen Gespräche begrenzen kann - abe ich habe nicht ansatzweise so viele Gespräche wie threads. Die Frage ist: Ist alles normal oder gibt es ein Problem?

Insgesamt belegt meine asterisk aktuell 8251 Threads bei ca 330 SIP Clients. 99% der Threads sehen so aus:
0x3a67fb70 8318 default_tps_processing_function started at [ 201] taskprocessor.c default_listener_start()

[root@svvoip2 ~]# asterisk -rx 'core show threads' | wc -l
8294
[root@svvoip2 ~]# asterisk -rx 'core show threads' | grep default_tps_processing_function | wc -l
8251
[root@svvoip2 ~]# asterisk -rx 'sip show peers' | wc -l
338
[root@svvoip2 ~]# asterisk -rx 'sip show channels' | wc -l
56
[root@svvoip2 ~]# free -m
             total       used       free     shared    buffers     cached
Mem:           768        482        285          0          0         75
-/+ buffers/cache:        406        361
Swap:            0          0          0

Der Server ist ein OpenVZ Container auf einem Proxmox Host.

Kann mir jemand einen Tip geben, woher diese vielen Threads kommen?

Nachtrag: Zwei Bilder aus dem RRD Tool vom Monitoring. Der Abfall auf 0 dürfte jeweils von einem Reboot kommen.

 

[wildzero]

Nee... gesund ist das nicht

Was hast Du denn für eine Asterisk Version im Einsatz. Doch nicht etwa aus dem trunk kompiliert? Für den Produktiveinsatz tzz... :doktor:

Nimm mal lieber einen gut abgehangen 11er. Aktuell 11.12.0

 

[martin_g]

Hmm, ich würde nur sehr ungern wieder zurück. Keine Chance, dass das nur eine falsche Konfiguration ist o.ä.?

[root@svvoip2 ~]# cat /etc/centos-release
CentOS release 6.5 (Final)
[root@svvoip2 ~]# yum list installed | grep asterisk
asterisk.i686                          12.4.0-1_centos6          @asterisk-12
asterisk-addons-core.i686              12.4.0-1_centos6          @asterisk-12
asterisk-addons-mysql.i686             12.4.0-1_centos6          @asterisk-12
asterisk-configs.i686                  12.4.0-1_centos6          @asterisk-12
asterisk-core.i686                     12.4.0-1_centos6          @asterisk-12
asterisk-dahdi.i686                    12.4.0-1_centos6          @asterisk-12
asterisk-doc.i686                      12.4.0-1_centos6          @asterisk-12
...

 

[wildzero]

Ah ok, wurde doch schon einer 12er branch als die Funktion "default_tps_processing_function" unbenannt/geändert wurde. Hatte gerade nur den 11 source bei mir auf der Platte ge'grep't.

Keine Chance, dass das nur eine falsche Konfiguration ist o.ä.?

Zeigt mal den output von "sip show sched/inuse/objects" vllt lässt sich hier was erkennen. Eventuell irgendwelche SIP dialoge die Ammok laufen.

Oder hast Du exotische, also != SIP channels am laufen?

Hmm, ich würde nur sehr ungern wieder zurück.

Glaub mir, eine LTS Version zu nutzen macht sehr viel weniger Kopfschmerzen. Irgenwelche Features welche Dir sonst schmerzlich fehlen?

 

[martin_g]

Ich habe vorhin den Asterisk neu gestartet, daher sind es aktuell nur 1161 Threads.

[root@svvoip2 ~]# asterisk -rx 'sip show sched'

 Highwater = 526
 schedcnt = 406
    retrans_pkt : 0
    __sip_autodestruct : 62
    expire_register : 340
    auto_congest : 0
    sip_reg_timeout : 0
    sip_poke_peer_s : 0
    sip_poke_noanswer : 0
    sip_reregister : 1
    sip_reinvite_retry : 0
   <unknown> : 3
[root@svvoip2 ~]# asterisk -rx 'sip show inuse'
* Peer name               In use          Limit
[root@svvoip2 ~]# asterisk -rx 'sip show objects' | head -n 20 # GESAMT IST DIE AUSGABE 3710 ZEILEN LANG
-= Peer objects: 1118 static, 0 realtime, 1 autocreate =-

name: 3223
type: peer
objflags: 0
refcount: 4

name: 3775
type: peer
objflags: 0
refcount: 4

name: 3773
type: peer
objflags: 0
refcount: 4

name: 3402
type: peer
objflags: 0

Mir fällt auf, dass die Anzahl der Threads und die Anzahl der Peer Objects recht eng beieinander liegen. Vielleicht ist es auch Zufall, aber ich werde es nochmal testen wenn die Threads wieder angestiegen sind auf 2000 oder so.

[root@svvoip2 ~]# asterisk -rx 'core show threads' | grep default_tps_processing_function | wc -l
1141
[root@svvoip2 ~]# asterisk -rx 'sip show objects' | head -n 5
-= Peer objects: 1120 static, 0 realtime, 1 autocreate =-

name: 3223
type: peer
objflags: 0

[Beitrag 2:]

Die Fährte scheint richtig, wildzero, die Fährte scheint richtig:

[root@svvoip2 ~]# asterisk -rx 'core show threads' | grep default_tps_processing_function | wc -l
1967
[root@svvoip2 ~]# asterisk -rx 'sip show objects' | head -n 5
-= Peer objects: 1949 static, 0 realtime, 1 autocreate =-

name: 3775
type: peer
objflags: 0

Wobei eigentlich auch die Anzeige falsch scheint. Bis auf eine Handvoll SIP Accounts, sind alle Realtime.

 

[wildzero]

Was sagt eigentlich ein simples "sip show channels" ?

Und schau Dir mal die "Dialog objects:" im Output von "sip show objects" wenn die 1900 objects hier auftauchen, suche dann anhan der SIP-ID welche unter "name: " steht, was für ein SIP dialog's das ist

 

[martin_g]

SIP show channels habe ich zeilenmäßig oben schon mal gepostet. Unauffällig. 56 Zeilen großteils Register.
Das andere prüfe ich morgen mal

Nachtrag:

Hier die Ausgabe von sip show channels ohne IPs

[root@svvoip2 ~]# asterisk -rx 'sip show channels' | sed -E 's/^[0-9\. ]{7,17}/xxx.xxx.xxx.xxx /'
Peer             User/ANR         Call ID          Format           Hold     Last Message    Expiry     Peer
xxx.xxx.xxx.xxx (None)           1111715qd8lu     (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           jn5yT94ZPSx8Evc  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           2689518xjls3     (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           1026715ob7y7     (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           159962hjnddd     (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           IVf6.8BnGSwu7oJ  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           xeWEA3vZO-zkdiO  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           m8Hbunc8F06fZ.w  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           jE022mwPjBmgjmY  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           2004814!vghx     (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           Rd1MNH674PFQutu  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           271482f45lz4     (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx 9999             13a3824d16eb075  (g729)           No       Tx: ACK                    9999
xxx.xxx.xxx.xxx (None)           1508217lqcnz     (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           mY9ucxbHHYK8VSW  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           2499815y7kbf     (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           G8t7-1nG2.laSlA  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           895619zi6xt      (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           1569612ngd40     (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           2577115n8kww     (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           1726818zyecp     (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           2863013c9n3b     (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           h3LdQa2hyVgvt9j  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           84GCA1DUvfeOQjG  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           1658028715       (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           NG1CnCMgOhm4eoO  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           Ki0w48cwacGTVCp  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           1779246337       (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           632416u44wp      (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           9721b70s0        (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           Zb8d08HZAmE3B3r  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           lXEHY7axP1Q1mWq  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           iR-vpo0Mpe6Gnru  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           183815gs1g2      (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           1114018rk8mh     (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           835517ib6h3      (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           5319BE59920C53C  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           ZOUKBVTLiVQnXSG  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           [email protected]  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           30422gfs2dj      (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           238071f1ojec     (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           D0K7Dyn7ha6J65y  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           ENS96BFOF.MzGSM  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx 00038yyyyyyy     541BDA1E-006DBB  (g729)           No       Rx: ACK                    dusnet
xxx.xxx.xxx.xxx (None)           iQJtEcT1cdotoXr  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           1428714vic0w     (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           5IzObjVCLK5VIVE  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           5IzObjVCLK5VIVE  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           UGmIYENs67A0d2v  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           UGmIYENs67A0d2v  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           195751giig3s     (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           OE0nmvX9R.gUCX-  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           282532h!fmtu     (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           32581f!h2jj      (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           2397517d8ji!     (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           L636TQNFtuCOu32  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           neie95aMtcUTykX  (nothing)        No       Rx: REGISTER               <guest>
xxx.xxx.xxx.xxx (None)           O895lSxyF7Krl1Q  (nothing)        No       Rx: REGISTER               <guest>
58 active SIP dialogs

Zur Ausgabe von "sip show objects":
- Peer objects: 2602 static, 0 realtime, 1 autocreate
- Registry objects: 1
- Dialog objects: Habe ich anhand der Zeilennummern gezählt, sind 47 Stück gewesen und kommt ziemlich genau mit der Anzahl der SIP Channels hin. Und es gibt auch keine Häufung, sondern scheint pro Channel ein Dialog Object zu sein.

 

[martin_g]

Haben die guest Peers denn etwas zu bedeuten? Die IPs sind alle von Kunden bzw. andere IPs werden eh geblockt, also schließe ich Angriffe aus.