Übertragungsraten mitschneiden und ohne Rechner auf den USB-Stick speichern

[Mr. Brooks]

Hallo,

ich habe derzeit das Problem, dass mein Downloadserver Probleme macht und die Übertragungsraten von Zeit zu zeit einbrechen. Man kann ja über die Fritzbox die Übertragungsraten per *.eth-Datei abspeichern, aber nur wenn der Rechner nebenher läuft. Geht das auch, indem man die Datei auf den USB-Stick an der Box schreiben lässt? Der Stick hat genug freien Speicher und das ganze soll auch nur ein paar Stunden laufen, die Datei wird also nicht zu groß für den 64GB-Stick werden. Per Google hab ich dazu nichts gefunden.

Mr. Brooks

 

[koyaanisqatsi]

Moin

Werd mal bitte genauer, ich kann dir nämlich nicht so richtig folgen.
Wie genau machst du den *.eth Mitschnitt? (Webinterface, Kommandozeile, ...)

 

[Mr. Brooks]

Sowas: http://www.tippscout.de/fritzbox-datenverkehr-mitschneiden_tipp_5136.html

Die Speicherung der *.eth erfolgt als "Download" auf dem Rechner, das heißt der Rechner muss ständig laufen, was nervig ist wil man das über 24 Stunden durchführen. Diese eth wollte ich direkt auf den USB-Stick speichern lassen.

 

[koyaanisqatsi]

Die gültige SID vorausgesetzt (Downloadlink, eines gerade laufenden Traces einsehen),
könnte auf der Fritz!Box oder eines anderen ewiglaufenden Gerätes...
fritz.box/cgi-bin/capture_notimeout?sid=[gültige SID]&capture=Start&snaplen=1600&ifaceorminor=2-1
...mit wget, curl und Konsorten zielführend sein.

Das Speicherziel "USB" kann im lokalen (Samba) Netz so erreicht werden:
\\fritz.box\deepbase\SanDisk-Cruzer-01\wireshark <-- muss natürlich existieren.
Linuxpfad auf der Fritz!Box: /var/media/ftp/SanDisk-Cruzer-01/wireshark

Allerdings klappten meine ersten Versuche mit wget und curl mit einfachen Copy'n'Paste der URL und sid= nicht.
Da kommt es wohl auch noch auf die "Lokalität" an.
Sprich: Eine gültige SID muss her

Ja, gerade getestet, mit gültiger SID kannst du auf der Kommandozeile mit wget...

wget -O - http://fritz.box/cgi-bin/capture_notimeout?sid=8540f440b60e4201&capture=Start&snaplen=1600&ifaceorminor=1-eth0

...sowas machen, bis du es im Webinterface der Fritz!Box wieder ausstellst.

Obiger Befehl ist nur zum Testen gewesen auf Dauer und in eine Datei dann...

wget [B]-O eth0.eth[/B]  http://fritz.box/cgi-bin/capture_notimeout?sid=8540f440b60e4201&capture=Start&snaplen=1600&ifaceorminor=1-eth0

...der Trace geht so in die Datei eth0.eth, bis du es im Webinterface der Fritz!Box wieder ausstellst.

 

[Mr. Brooks]

Was ist denn ein "gerade laufender Trace"? Meinst du einen x-belieben Download der gerade läuft?

 

[koyaanisqatsi]

Nö, bei Firefox im Download (Rechtsklick, Linkadresse kopieren), wenn du denn im AVM Webif (capture.lua) ein "Capture", oder auch "Trace" gestartet hast.
...ist nur ein anderer Name für dieselbe Sache.

Dabei kommt dann sowas raus...

http://fritz.box/cgi-bin/capture_notimeout?sid=8540f440b60e4201&capture=Start&snaplen=1600&ifaceorminor=1-eth0

...da hab ich das auch her.

Wird so ein Link, mit gültiger SID von einen "fremden" Rechner (im LAN/WLAN), aufgerufen,
zum Beispiel mit wget, dann startet der den Download, oder besser das Capture.
Das wird auch prompt, wie von Geisterhand, im AVM Webinterface (capture.lua) angezeigt.
...und laut AVM beendest du das Capture auch da.

 

[Mr. Brooks]

Hab es jetzt mal mit wget auf meinen ständig laufenden Raspberry Pi versucht. Wireshark kann die *.eth aber nicht öffnen.

Mein Vorgehen: Start gedrückt um den Mitschnitt zu beginnen, in der SSH-Konsole "wget -O http://fritz.box/cgi-bin/capture_notimeout?sid=e11ad3fcbcbacb84&capture=Start&snaplen=1600&ifaceorminor=3-eth0" eingetragen. Als im Firefox das DL-fenster auf ging hab ich in der SSH-Konsole Enter gedrückt und der DL begann, dann das Firefox-DL-Fenster geschlossen (ohne den DL zu bgeginnen, der lief ja schon über wget). War das so falsch?

Ich suche noch ein Tool, dass mir eine grafische Aufstellung gibt über die Übertragungsraten, so ähnlich wie man es im Fritzbox-Menü unter "Internet" sieht. Wireshark scheint das nicht zu können.

 

[koyaanisqatsi]

Abend

Falsch.

1.
Allein das...

wget -O  [COLOR=red]eth0.eth[/COLOR] http://fritz.box/cgi-bin/capture_notimeout?sid=e11ad3fcbcbacb84&capture=Start&snaplen=1600&ifaceorminor=3-eth0

...ist wie der Klick auf "Start" in capture.lua.

2.
Setze also zuerst obiges wget Kommando ab und schau danach mal in capture.lua rein.
In capture.lua stoppst du den wget Download (irgendwann) mit klick auf "Stop".

Versuch aber vorher auf dem RasPi in einem Webbrowser eine gültige SID zu bekommen (Einloggen ins AVM Webinterface, Strg & klick auf Übersicht).

 

[Mr. Brooks]

Wo ist denn die capture.lua? Geh ich in das Menü für den Mitschnitt kommt eine capture.html.

 

[koyaanisqatsi]

Was hast du denn für eine Fritz!Box?
Bei mir gehts jedenfalls direkt mit: fritz.box/capture.lua?sid=[gültige SID]
Ist aber die selbe Seite.
Und diese nur zur Info oder zum Stoppen eines wget Downloads benutzen.

Also noch ein Versuch, diesmal mit Bilder.

Schritt Eins, nur diese Seite aufrufen, sonst nichts...
Schritt Zwei, jetzt das wget Kommando absetzen, mit gültiger SID...
Schritt Drei, mal nachgucken obs geht, und bei Bedarf hier den Download beenden...

Wenn das bei dir auch klappt, kannst du mit mehreren wget auch mehrere Schnittstellen abhören.

 

[Theo Tintensich]

Auf einem die ganze Zeit mitlaufenden Linux-Rechner ein Script erstellen, das den folgenden (drittes im Link) Inhalt hat.
http://www.wehavemorefun.de/fritzbox/IP-Pakete_mitschneiden

Wenn du das nicht auf die Console haben willst, kannst du noch per "tcpdump", oder die auskommentierte tshark-Zeile aktivieren.

Ich habe damit mal 10 Stunden mitgeschnitten.
Waren dann doch, unkomprimiert, einige GigaByte ;-)

Eventuell musst du noch tshark oder tcpdump installieren.

 

[PeterPawn]

Auf einem die ganze Zeit mitlaufenden Linux-Rechner ein Script erstellen, das den folgenden (drittes im Link) Inhalt hat.

Wo ist jetzt der grundlegende Unterschied (selbst wenn das ein Microcomputer sein sollte) zu dem in #1 und #3 ausdrücklich nicht gewünschten parallel laufenden Rechner?

Das könnte man zwar theoretisch so auch auf der FRITZ!Box selbst laufen lassen, aber diverse Zutaten für die dort verwendeten Kommandos existieren in der AVM-Firmware nicht (iconv, awk) und auch das wget der Busybox kennt keine POST-Requests. Insofern ist das ganze mit automatischem Login auf dem eigenen Webserver von der FRITZ!Box aus nicht vollkommen unmöglich, durch das fehlende 'nc' (das bräuchte man für POST-Requests "zu Fuß") aber nur noch schwer machbar.

Man könnte höchstens noch probieren, ob das Login auch mit einem GET-Request akzeptiert wird, wenn alle Parameter in der URL vorhanden sind. Je nach eingestelltem Anmeldemodus muß dann auch noch der passende Benutzername eingebaut werden, die Beispiele gehen - nach einem flüchtigen Blick - alle von einer Anmeldung nur mit dem Kennwort aus.

Auch ist die richtige Angabe des mitzuschneidenden Interfaces nicht fix und kann von Modell zu Modell variieren. Hier sollte man am besten mal einen Browser-basierten Mitschnitt auf der eigenen Box machen und sich dessen URL richtig ansehen.

 

[koyaanisqatsi]

Eventuell musst du noch tshark oder tcpdump installieren.

...und tmux, dann kannst du solche Sessions "detachen" ausloggen und später wieder "attachen".
In Screenshot 2 siehst du so eine "attachte" Session in Shellinabox.

 

[Theo Tintensich]

Auf der F!B gibt es, wenn man längere Zeit das mitlaufen lassen will, ein Speicherproblem.
Und zwar schon dann, wenn man das normaler Verfahren nimmt, dass den gelieferten Datenstrom auf die Platte des aufrufenden Rechners speichert.

Ich konnte nach ca. 2 Stunden mitschneiden das nur durch ausschaltend er F!B lösen, da diese überhaupt nicht mehr ansprechbar war.
Die Daten waren dann natürlich nicht brauchbar.

Nimmt man das aif Wehavemorefun vorgestellte verfahren, gibt es ein Speicherproblem nur auf dem aufzeichnenden Gerät, nicht der F!.

 

[Mr. Brooks]

Wieviel Speicher hattest du denn frei? Wie groß werden denn die Dateien pro Stunde? Ich hab einen 64GB Stick dran auf dem noch 40GB frei sind.

 

[Theo Tintensich]

Wenn du das auf den USB-Stick speichern kannst,...
Meine Vermutung war, dass irgend etwas im Temp-Bereich voll lief.
Denn der Rechner lief ja noch, nur ich konnte auf die F!B nicht zugreifen.
Erst ein Neustart der F!B brachte die wieder zur Vernunft.

Ich wollte damals den Zeitpunkt erwischen, zu dem der Datenverkehr ins Internet hängen blieb.
Was nach ca. 8 Stunden passierte.
Deshalb suchte ich eine Möglichkeit, so lange aufzuzeichen.
Und die von der F!B angebotene funktionierte nicht.

Also kann es sein, dass der USB-Stick nicht hilft.

 

[PeterPawn]

Wie groß werden denn die Dateien pro Stunde? Ich hab einen 64GB Stick dran auf dem noch 40GB frei sind.

Ich würde mal ganz kühn raten und sagen, daß das absolut davon abhängt, wieviele Daten Du über die FRITZ!Box jagst bzw. jagen kannst. Das geht also von 0 kbit/s bis zu irgendwas zwischen 768 kbit/s und 100.000 kbit/s ... für genauere Berechnungen des "worst case"-Szenarios müßte man schon etwas mehr über die FRITZ!Box und den Anschluß wissen.

 

[Theo Tintensich]

Ich habe, mit der Anleitung aus WHMF, 10 Stunden den Verkehr aufgezeichtet, der zu Hause über die Leitung läuft, wenn ich zur Arbeit bin.
Das ist hauptsächlich das Hochladen der Daten der Wetterstation.
Das waren damals ca. 2 GByte Text (tshark liefert den Text direkt)
Das habe ich dann in handliche Häppchen geteilt.
Alle zwei Stunden einige Minuten und komprimiert.
Da bliebt dann nicht mehr viel übrig ;-)

Das Problem ist aber, wie gesagt, die Datenmenge vor der Weiterverarbeitung. Und der auf der F!B dafür bereitstehende Platz