Abstürze mit FB 7050 und ds26-14.4

[Xorks25]

Hi jungs,

hab seid 3 tagen den ds26-14.4 mod auf der FB7050 mit der Firmware 14.04.31 drauf..

ansich läuft das auch recht gut.. aber ich hatte jetz in den 3tagen und 2 nächten jedesmal irgendwann nachts nen kompletten absturz.

das heisst weder Telefon noch Internet liefen ich kam weder per Telnet noch per Browser auf die box. auch anpingen lies sich die box nicht mehr..
Nachdem ich die box vom strom getrennt und wieder eingesteckt habe, lief wieder alles normal.

Hat jemand ne idee was das sein könnte ????

Im moment laufen folgende packete:

- telnetd
- webcfg
- syslogd
- callmonitor
- virtualip
- wake on lan


schonmal danke

Xorks

 

[kriegaex]

Speichermangel? Wild geraten, aber verwende doch, wenn Du die Möglichkeit hast, mal spaßeshalber Swap Space und schau, ob die Box stabiler wird. Wäre nicht das erste Mal.

 

[Xorks25]

hmpf..

erstmal danke für die antwort.. hab jetz mal per telnet den dsmod und alles weitere deinastalliert..

ist es richtig, das trotzdem bei der firmwareversion ds26-14.4 steht ??? und ich auch auf das andere webinterface zugreifen kann ?

trotz der deinstallation, ist die box gestern nacht wieder abgestürzt

noch ideen ?


Xorks

 

[wurstfabrik]

Morgen.
Also, ich hatte das gleiche Problembild. Keinerlei Ping, Telefon/Internet, Die 2 LEDs dauerhaft am leuchten (glaube, DSL & Power - also optisch eigentlich ganz normal) - Die Box "hing" einfach.
Hatte eigentlich die gleichen Pakete drauf, bis auf VirtualIP, das hatt ich nicht, und zusätzlich dnsmasq, dafür habe ich dann libtr069/avalanche_usb weggelassen.

Habe es dann ausprobiert, den Mod komplett ohne Pakete laufen zu lassen, dachte erst es läge am weglassen entweder der tr069/USB, sie lief dann auch.

Habe dann wieder ein Image mit den Paketen gemacht, ohne dnsmasq, dafür mit tr069 und usb, die Box hing aber in der nächsten nacht wieder (es scheint also, als läge es nicht an tr069/usb).

Habe dann sämtliche Pakete einfach gestoppt, dann lief sie.
Jetzt läuft die Box seit >1 woche stabil, es läuft seitdem auch wieder telnetd, webcfg und callmonitor.
crond, syslogd und wol sind gestoppt.

Also es sieht so aus, als Läge es tatsächlich an zu kleinem RAM - aber war es nich immer so, dass die Box dann neu startet, und nicht hängt ?

@Xorks25: Versuch also einfach mal, die Pakete zu stoppen und wart mal 2 Tage, ob es läuft.

MfG
wurstfabrik

 

[Xorks25]

hallo wurstfabrik,

hmpf.. ich habe alle pakete gestoppt bis auf webcfg und callmonitor..
leider genau dasselbe prob.. es hat nichtmal 12 std ausgehalten da isse wieder abgestürzt..

das mit dem neustart kann ich nicht bestätigen, da die box komplett hängt

und nur stromstecker ziehen hilft
wie ich in meinem beitrag oben schon schrieb, hab ich den mod per telnet mit "moduninstall all-mods" erstma deinstalliert.. Trotzdem, hat sie sich gestern nacht wieder aufgehängt.. und nichts ging mehr, bis ich heute morgen wieder den stromstecker gezogen hab...


MfG
Xorks

 

[kriegaex]

hab jetz mal per telnet den dsmod und alles weitere deinastalliert..

Wie das denn? Der DS-Mod läßt sich nur durch ein erneutes Firmware-Update deinstallieren, ansonsten kannst Du höchstens die Eintstellungen zurücksetzen.

 

[Xorks25]

Wie das denn? Der DS-Mod läßt sich nur durch ein erneutes Firmware-Update deinstallieren, ansonsten kannst Du höchstens die Eintstellungen zurücksetzen.

sorry hab mich da wohl blöd ausgedrückt

natürlich nicht komplett deinstalliert sondern halt alles zurückgesetzt..
aber das wird wohl nicht helfen ??

hmpf...

//EDIT
hab jetz erstmal das unmodifizierte AVM image draufgemacht.
damit das ding läuft.. (jetz hoffe ich nur, das es wirklich am platzmangel lag)


Xorks

 

[hermann72pb]

Ich freue mich, dass jemand diesen Thread eröffnet hat und würde gerne dazu beitragen, um den "Übeltäter" zu finden. Meine Situation ist noch etwas "harter" als hier beschrieben, ich benutze nämlich RAM als Ersatz für den fehlenden Flash in 7050. Näheres dazu wurde in [1] und in [2] diskutiert. Zum Runterladen verwende ich den Downloader. Heruntergeladen werden Dnsmasq, Dropbear und OpenVPN mit notwendigen libs. Ich hatte festgestellt, dass bei mir nur dann Probleme mit Aufhängen zu Stande kommen, wenn OpenVPN läuft. Deaktiviere ich OpenVPN als Dienst, so läuft die Box stabil, selbst wenn OpenVPN binaries und libs im RAM als "Leichen" liegen. Abgesehen von dieser Tatsache und von oben beschriebenen Erfahrungen versuchen wir doch die Situation zu analysieren:
1. Das Problem ist nicht eindeutig und trivial. Zwar kann man Alex zustimmen, dass zu 99,9% der Wahrscheinlichkeit das RAM der 7050 überläuft und dadurch die Box stehen bleibt, aber genau weiß keiner warum und wer der Übeltäter ist.
2. Ich fasse alle Aussagen zusammen: Die Box rebootet nicht, sondern bleibt stehen. Es wurde im Forum eine Vermutung geäußert, dass die Box nicht komplett tot ist, sondern nur in einem Dauerwartezustand ist auf eine nie frei werdende RAM-Resource.
3. Dieser Zustand wird vermutlich dadurch herforgerufen, dass im RAM plötzlich zu eng wird. Warum eigentlich?
a) Erste Idee wäre: Ich mühle den RAM mit meinen Paketen zu und deswegen wird es eng (davon war ich bis jetzt ausgegangen). Aber wie man hier oben lesen kann, passiert es auch, wenn man keine binaries ins RAM auslagert. Deswegen behaupte ich hier einfach: Es trägt zwar dazu bei, aber ist nicht alleine das Problem.
b) Zweite Idee: Irgendein Programm oder Programmkombination läuft RAM-mäßig amok. Wenn man alleine meine Untersuchungen analysiert, würde man OpenVPN vermuten. Andererseits hängt es bei den anderen auch ohne OpenVPN. Meine Vermutung ist deswegen syslog oder temporäre Dateien, oder beides. Lasst uns doch diverse Variationen ausprobieren: z.B. syslog abschalten (vielleicht sogar aus Firmware entfernen), andere Pakete abschalten, um die "gefährliche" Kombination auszugrenzen. Wichtig sind auch "harte Bedingungen", wie laufendes WPA2, DSL2 zu betrachten und genau feststellen, wann die Box sich aufhängt.
4. Ich vermute eher ein Bug in der RAM-Speicherverwaltung. Denn normal ist es nicht, dass die Speicherverwaltung sowas nicht beherrscht und nicht abfängt. (Da ich kein Programmierexperte bin, kann es sein, dass ich mich hier irre).
5. Warum passiert es eigentlich nur unter 7050 und nicht unter 7170. Denn die beiden Boxen haben doch gleich viel 32MB RAM? Und wenn man keine binaries wie ich ins RAM auslagert, tut man erstmal nichts Außergewöhnliches. Warum bleibt dann die 7170 nicht hängen, wenn man ihr ähnliche Pakete verpasst?

Frage an Alex: Wie du bereits irgendwo angekündigt hast, sollte im nächsten Release sowas wie "debug-modus" realisiert werden. Können wir dann mit diesem Tool unser Problem etwas näher analysieren?

MfG

 

[kriegaex]

Der "Debug-Modus", den Du meinst, bezieht sich auf die Nutzung der im Kernel verfügbaren Inotify-Schnittstelle. D.h., es werden Dateizugriffe protokolliert, und zwar mit Hilfe der inotify-tools. Das wird wenig helfen. Den Speicher kontrolliert man anders, aber ich bin da kein Experte. Ich lese mir da evtl. mal oberflächlich an demnächst.

Der Unterschied zur 717ß besteht darin, daß dort die Pakete im Flash sind, nicht im RAM. Das Delta hat man zum Arbeiten mit den Programmen zur Verfügung. Aus meiner Sicht ist die "Verschwörungstheorie" von den Bugs wesentlich unwahrscheinlicher als ein zu großer RAM-Bedarf der Programme. Gerade OpenVPN ist vermutlich ein Hammer (ich setze es nicht ein, vermute also nur), weil es ja OpenSSL benutzt, und das ist ja schon groß.

Wie stellt man also fest, ob es am Speicher liegt?

• Möglichkeit 1: Man nimmt eine 7170, installiert die von Dir nachgeladenen Pakete ebenfalls durch Nachladen, anstatt sie in die FW zu packen, auch wenn dort noch Platz wäre. Somit simuliert man eine ähnliche Speicherauslastung. Wird die Box auch instabil, obwohl sie es nicht ist, wenn man die Software aus dem Flash heraus laufen läßt, ist es wohl das zu knappe RAM. Problem: Du brauchst jemanden, der zu so einer Aktion Lust hat oder Du hast selbst eine 7170 herumliegen.
• Möglichkeit 2: Du verwendest eine Swap-Partition an der 7050. (Hat die einen USB-Hostadapter? Ich glaube nicht.)

 

[jenswmeyer]

Das gleich Problem habe ich bei der Box(7050 ds14-4) von meinem Dad auch, ist nur der Callmonitor drauf.
Werd nachher mal gucken warum das so ist.

Konnte man nicht über crond den Ram regelmässig defragmentieren?

 

[bodega]

Das braucht man nicht. Das sollte die Box alleine machen, wenn das RAM voll läuft. Was mich nur wundert ist, dass die Box "hängen" bleibt. Also kein reboot oder dergleichen.

 

[hermann72pb]

@kriegaex:
Du sagst, dass bei 7170 im Gegensatz zu 7050 Pakete im Flash liegen und nicht in RAM. Bei mir ja, aber bei den anderen hier ist es nicht der Fall. Deswegen meinte ich bei meiner Zusammenfassung, dass auslagern ins RAM alleine nicht das Problem ist. Kann es sein, dass 7050 von sich aus (im AVM-Softteil) schon eine andere Speicherverwaltung macht? Dass vielleicht mangels Flash vom Hause aus RAM stärker beansprucht wird? (nur so eine blöse Vermutung)
Zu 7170 testen. Ja, ich habe mehrere Boxen rumliegen, auch eine 7170. Die hat aber Hardwaremäßig etwas andere Anschlüsse. Das heißt, ich muss mein Anschluss komplett umlöten und umstecken (weil ich mir da was zurecht gebastelt hatte). Das werde ich irgendwann mal machen, aber nicht jetzt, weil ich erstmal mit 7050 fertig sein will. Und mit so einfach 7170 auf dem Tisch zu testen bringt nichts. Weil wie gesagt, die Box hängt nur nach ein Paar Stunden "Feldversuch" (wie man es in der Industrie bezeichnet) mit Internet, WLAN usw., also volles Programm...
Möglichkeit 2 mit SWAP ist für 7050 nicht einfach, denn USB-Host hat sie nicht. Zuhause Linuxkiste stehen zu haben und per LAN mounten will ich nicht, und SWAP übers Internet ist zwar theoretisch möglich (ich habe auch STRATO-Root-Server), aber halte ich für keine gute Idee. Ich hatte mich da etwas umgelesen. Alleine Sicherheit, TCP oder UDP sind da die Baustellen. Abgesehen davon, was passiert, wenn mittendrin während des Zugriffes auf SWAP der entfernte Server plötzlich weg ist.
Und überhaupt, warum gleich SWAP. Warum nicht einfach eine externe Partition (auch übers Internet) mounten und von dort direkt die Programme starten. Es hat zwar mit dem hier diskutierten Problem nicht zu tun, aber dann liegen zumindest die binaries nicht dauernd im RAM.
@bodega: Ja, das fand ich auch seltsam, dass die Box hängen bleibt. Deswegen meine "Verschwörungstheorie" (wie Alex es bezeichnet), dass dort doch etwas nicht stimmt.
@Xorks25: Kannst du bitte Thread-Titel von "Abstürze" in etwas mit "Aufhängen" umbenennen. Denn abstürtzen in dem Sinne macht die Box nicht, sie bleibt hängen.
@all:: Ich habe bei mir erstmal syslog gestoppt, OpenVPN gestartet und schaue, wie lange die Box damit läuft.

MfG

 

[bodega]

Ist das auch so, wenn man überhaupt keinen Mod installiert?

Ich hatte mit der dtmfbox mal ein Problem, was ich bis heute nicht verstehe:

Das Programm wird beim booten gestartet und wird dann geforked (vfork, fork gibt Probs...). Starte ich das Programm OHNE Verzögerung, bekommt der Prozess eine Auslastung von 90 - 95 %. Sehr schlecht...
Starte ich den Prozess verzögert (setze ein Sleep 15 davor), habe ich garkeine Probleme. Schnurrt wie ein Kätzchen...

Der Workaround funktioniert, aber das Warum ist mir noch unklar. Zumal es in jeder Schleife ein kühlendes "usleep" gibt... :noidea:

Mal so in den Raum geworfen...

 

[kriegaex]

Du sagst, dass bei 7170 im Gegensatz zu 7050 Pakete im Flash liegen und nicht in RAM. Bei mir ja, aber bei den anderen hier ist es nicht der Fall.

Die beiden Sätze habe ich jetzt leider gar nicht kapiert.

@bodega: Könnte die hohe Auslastung in Deinem Fork damit zusammenhängen, was der Prozeß tut? Ich meine, greift er auf Ressourcen (Dateisystem, Netzwerk, andere Prozesse) zu, die beim Hochfahren der Box noch nicht gleich verfügbar sind (bzw. erst nach 15 Sekunden, dann geht es ja)? Oder hängt der (V)Fork auch, wenn er nichts tut außer Schäfchen zählen?

 

[bodega]

@kriegaex:
Das komische daran war, dass das Programm immer noch das getan hat, was es tun sollte. Das Log hatte ein ganz normales Programmverhalten angezeigt (Anruf wurde angenommen, etc. pp).

Problem war halt die hohe CPU Auslastung, wobei diese nie auf 100% ging (immer nur kurz davor). Die Box wurde auch etwas träge. Den Prozess mit einem '&' in den Hintergrund zu schicken (ohne vfork), hatte auch nichts gebracht...

Entweder steht CAPI zu dem Zeitpunkt noch nicht zur Verfügung, bzw. das Netzwerk (PJSIP). Wie gesagt, das Programm funktionierte (nur mit hoher Auslastung).

Ich könnte mal schauen, ob sich sowas auch mit einem Dreizeiler provozieren lässt. Möchte nicht ausschließen, dass es an fehlenden Ressourcen liegt.

 

[hermann72pb]

@kriegaex: ok, ich hatte es schlecht formuliert. Ich wollte nur deinem Satz widersprechen:

Der Unterschied zur 717ß besteht darin, daß dort die Pakete im Flash sind, nicht im RAM.

Ich wollte lediglich nochmal darauf aufmerksam machen, dass in allen Meldungen zu 7050 (meine ausgenommen) die binaries gar nicht ins RAM ausgelagert werden. Und trotzdem bleibt die Box hängen.
Und den Unterschied in der RAM-Belastung zwischen 7170 und 7050 verstehe ich trotzdem nicht. Es sollte bei 7170 sogar schlimmer vorkommen, weil dort mehr Pakete ins Flash passen, gestartet werden, ständig am Laufen sind und dadurch mehr RAM-Resourcen verbrauchen.

MfG

 

[wurstfabrik]

Hallo, ich muss meine obige Aussage korrigieren, denn seit gestern hat die Box wieder die ursprünglichen Hänger, auch wenn nur telnetd, webcfg und callmonitor laufen. Warum sie nun wieder ins alte Muster gefallen ist, kann ich leider Gottes nicht sagen ...

Anderer Vorschlag: ist es jemandem möglich, der eine 7050 mit hier genanntem hat, auf einem Linux rechner einen Logserver für den syslogd laufen zu lassen ? Vllt kann man ja aus den letzten Logs der Box Schlüsse ziehen ? Oder Bringt das im allgemeinen nix ? hab da nich die erfahrungen mit ... aber dafür isses doch eigentlich da...

Gruß

 

[hermann72pb]

@wurstfabrik: Hast du denn keine zusätzlichen Nachladepakete? Hab ich es richtig verstanden, dass die box mit dem gestoppten syslog usw. doch hängen geblieben ist? Dann muss es bei mir auch bald passieren.... Warten wir mal ab.
Was wir gemeinsam haben:
Callmonitor und DSL2 mit 16kBit, VOIP von 1und1
Was man ausschließen kann:
telnet (habe ich nicht am laufen), dropbear (hast du nicht), dnsmasq (hast du nicht)
Läuft bei dir denn WLAN mit WPA2 und wird es dann auch benutzt?

Zum Aufhängen füge ich noch zu, dass es wirklich sehr sporadisch auftritt und kaum vorhersagbar ist, wie etwa alle 129 Minuten oder so.
Mit dem Linux-Logserver hatte ich auch die Idee. Allerdings muss ich erstmal schauen, wie sowas bei meiner SUSE einzurichten ist und ob ich die laute Kiste 24 Stunden ertragen kann.

MfG

 

[kriegaex]

Syslogd für Windows

Es gibt auch diverse Syslog-Daemons für Windows, dazu braucht man nicht zwingend Linux. Ich verwende z.B. Kiwi Syslog Daemon. Auch Tftpd32 hat einen eingebauten Syslog-Daemon.

 

[bodega]

Hab jetzt nochmal nachgeschaut: das mit der Auslastung lässt sich nicht so einfacht nachvollziehen (zumindest nicht durch einen Dreizeiler ). Am (v)fork liegt es nicht. Es wird wohl so sein, das beim Booten gewissen Ressourcen noch nicht vorhanden sind (Netzwerk/Telefon). Es ist auch nicht so wichtig.

Vielleicht nur interessant, falls jmd. soetwas erlebt.