7270 Bufferspeicher Leak

[cando]

Hallo,

Ich habe was merkwürdiges zu berichten. Im Dauerbetrieb "verschwinden" die Buffer der Fritzbox nach und nach, während free memory und cache memory immer wieder schwanken. Dies führt dann zu 100% cpu Spitzen im Stunden Rhytmus (wahrscheinlich versucht die Box vergeblich neue Buffer zu allozieren). Ich weiss auch nicht, was sie ein mal pro Stunde regelmäßig treibt, den Stunden - Puls kann man nach einem Reboot ebenfalls beobachten, allerdings mit viel geringerer CPU Last (letzte 2 Spitzen in der Grafik, da sieht man, wie das System nach einem Reboot seine Ressourcen normalerweise verteilt - in der Zeit zwischen 20:00 und 7:00 war die Box eigentlich ohne Last - ich habe so den rrdstats in Verdacht - ist aber nur eine Ahnung).

Symptome für die fehlenden Buffer sind: extrem lange Antwortzeiten beim Zugriff auf das Web-Interfaces (Fritz / Freetz).

Hat jemand eine Idee, wie man dem Übeltäter auf die Schliche kommen kann?

Vielen Dank

cando

 

[Silent-Tears]

rrdstats kann da durchaus passen, da hattne wir chon ab und an Schwierigkeiten mit.... Du kannst ja mal einen simplen Feldversuch starten: Lass rrdstats für ne Weile Weg. Wenn dein System besser reagiert, ist das ein Anhaltspunkt, auch wenn dieser natürlich eher dürftig ist, da rrdstats ja eben dieses Verhalten erst aufzeichnet...

 

[cando]

Probiere ich aus, aber es dauert immer so 1-2 Wochen, bis man es so richtig merkt, dass die Box kaum noch reagiert...

 

[SaschaBr]

Ich glaube nicht, daß das an RRDstats liegt. Zumindest bei mir ist das Verhalten von RRDstats unauffällig, und zeigt in keinster Weise die von Dir beschriebenen Symptome.

 

[cuma]

Bei mir läufts auch rund. Nur das memoryleak von Digitemp (->Ticket) nervt

 

[RalfFriedl]

Ein Speicherleck bedeutet, daß im Laufe der Zeit immer mehr Speicher belegt wird. Schwankungen gehören nicht dazu. Das Bild ganz oben zeigt nur, daß am Ende etwas mehr Speicher belegt ist. wenn er irgendwann wieder freigegeben wird, ist es kein Leck.

Um Ursachen einzugrenzen, kann man einzelne Dienste stoppen und sehen, was passiert.

 

[cuma]

Hatte das auf Silent-Tears Post mit den Schwierigkeiten bezogen. Außder diesem kenn ich nämlich keines

 

[cando]

Also ich kann mittlerweile auch rrdstats von der Liste der Verdächtigen streichen. Ich habe es auf manuell gestellt und nicht gestartet, trotzdem musste ich heute wieder die Box booten, weil das UI zu langsam wurde und kaum noch reagierte.

Das Problem ist nicht der Speicher an sich, die Box swapt ja nicht und es ist noch Cache Speicher und freier Speicher vorhanden. Das Problem ist, dass es nach und nach keine freien Buffer mehr gibt und scheinbar keine neuen alloziert werden (wahrscheinlich werden in der Fritz Box die Anzahl der Buffer beim Boot statisch zugewiesen und nicht wie bei Windows dynamisch verwaltet???).

Irgend was fordert Buffer an, gibt diese aber nicht wieder frei. Ich habe noch den AVM Update Dienst im Verdacht, der immer noch versucht jede Nacht eine FTP Verbindung zu AVM aufzubauen (die ich per iptables mit REJECT blocke). Vielleicht gibt er nicht sauber alles wieder frei, sondern hängt sich nur jedes mal auf und belegt die Kommunikations-Puffer. Aber auch das ist momentan nur eine Vermutung.

Gibt es ein Tool, das die Buffer Belegung / Verbrauch anzeigen kann?

Das zweite Phenomen ist, dass stündlich CPU Leistung verbraucht wird (Spitzen), ohne dass die Box was sinnvolles tut (z.B. Nachts). Solange die Buffer frei sind (nach Reboot), haben diese Spitzen ca 10% CPU, wenn die Buffer weniger werden, werden die Spitzen immer größer - im Bild mit 70%, ich hatte auch schon über 90% nach einer längeren Laufzeit. Ich glaube, dass diese Lasten auch aus dem Memory Management resultieren und die Prozesse der Box um die verbleibenden Buffer miteinander streiten...

 

[Silent-Tears]

Deine erste Therorie liesse sich verifizieren, indem du die iptables-Regeln dafür deaktivierst, und der Dienst seinen "Dienst" tun kann.

Evtl. kannst du zu den Buffern/Memory-Sachen was im /proc finden? /proc/meminfo, etc?

 

[cando]

Ja, ich werde das mal versuchen und sehen, wie sich die Buffer mit der Zeit verhalten. Die stündlichen Peaks erklärt das aber immer noch nicht. Ich versuche mal herauszubekommen, was da alle Stunde an der Box CPU verbraucht. Gibt es eine Möglichkeit die einzelnen Prozesse zu monitoren?

 

[RalfFriedl]

In Ergänzung zum Beitrag von Silent-Tears möchte ich noch /proc/slabinfo empfehlen.

 

[cuma]

Jetzt hat es mich auch erwischt! Um 10h startet per cron das Wlan. Meine 7141 verbindet sich auch nur widerwillig als WDS-Salve. Übeltäter ist bei mir wohl tcpdump, welches durchgehend läuft. Wenn ich es kille geht die Last zurück.

Meldung von dmesg

[pcmlink]c55_isr: d=00003d00 r=00003cbe s=00003cd6 m=00002090
Call Trace:
[<9400d8d4>] dump_stack+0x8/0x34
[<94050b20>] __alloc_pages+0x2b8/0x2f0
[<94050b90>] __get_free_pages+0x38/0x70
[<940166b4>] dma_alloc_noncoherent+0x74/0xb4
[<9401670c>] dma_alloc_coherent+0x18/0x58
[<c0607288>] ath_descdma_setup+0xcc/0xffe12e44 [ath_pci]
[<c061141c>] ath_attach+0x618/0xffe091fc [ath_pci]
[<c061e080>] ath_pci_probe+0x2d0/0xffdfc250 [ath_pci]
[<94115b90>] pci_device_probe+0x64/0xa4
[<9413e064>] really_probe+0x68/0x120
[<9413e200>] driver_probe_device+0xcc/0xf4
[<9413e398>] __driver_attach+0x98/0x11c
[<9413d120>] bus_for_each_dev+0x4c/0x90
[<9413d8f0>] bus_add_driver+0x78/0x1e8
[<94115960>] __pci_register_driver+0x80/0xc0
[<c042e070>] init_ath_pci+0x70/0x3fbd2000 [ath_pci]
[<94046b08>] sys_init_module+0x17a4/0x18c4
[<940103c0>] stack_done+0x20/0x3c

 

[olistudent]

Sieht man das mit tcpdump auf deinem Graph? Vor dem sprunghaften Anstieg war die Last doch sehr klein?

MfG Oliver

 

[cuma]

Tcpdump wird bei Boxstart (6h) mitgestartet. Wenn sich dann das Wlan einschaltet (10h) steigt die Last. Abfall der Last kurz nach 16h war dann nach dem Killen von tcpdump
EDIT: Heute hat es sich im Gegensatz zu den 2 letzten Tagen alleine beruhigt:

 

[cuma]

Heut wieder ein "lustiges" Phänomen: Habe die Box restartet und es wurden keine USB-Geräte mehr erkannt. Dachte zuerst der Stick ist hinüber. Hab dann noch ein paar mal neu gebootet auch ohne Erfolg. Stromlos machen ebenso. Dann hab ich WLAN deaktiviert und USB-Stick sowie 1-Wire-Master wurden sofort erkannt!?