Fritz!Load - (Oneclickhoster-) Down- und Uploads via FB

[scuba]

Noch weitere Infos:
Freetz svn 8691(?) 54.05.21 - F!L svn2078
Dateitransfer über NFS, da SMB/CIFS mit der neuesten FW (noch) nicht geht.
was mir mit "top" noch aufgefallen ist:

7233  7228 root     R     1620   3%  28% /var/media/ftp/uStor01/fritzload/bin/busybox awk {print $4}
15550 15544 root     R     1620   3%  24% /var/media/ftp/uStor01/fritzload/bin/busybox awk {print $4}
16669 16664 root     R     1620   3%  24% /var/media/ftp/uStor01/fritzload/bin/busybox awk {print $4}

Ist da was mit der BusyBox nicht in Ordnung? "BusyBox v1.19.4 (2012-05-02 10:30:31 CEST) built-in shell (ash)"

Hi,

ich stoße auf das selbe Problem wie Solo0815. Die BBox awk Prozesse laufen Amok, wenn ein Download beendet ist. Der Download wird nicht fortgesetzt.
Wenn ich die Prozesse per telnet-Konsole und kill terminiere, erhalte ich im Log der jeweiligen Instanz ebenfalls die 'ash: bad number' Fehlermeldung.
Ich setze derzeit eine 7270 mit Fritz!OS 5.21 und OHNE freetz ein. Fritz!Load hat die aktuelle trunk-Revision 2082.

Gruß

scuba

 

[Solo0815]

scheint wirklich an awk '{print $4}' zu hängen. Auf der Commandozeile der FB funktioniert es aber ohne Probleme. Gibt es irgendeine andere Möglichkeit die 4. Spalte abzufragen bzw. auszugeben? Mit "stat" hab ich es für ein Dateisystem nicht hingebracht, die Dateigröße funktioniert gut damit.
Mit svn2084 sollte F!L wieder normal laufen - Hab die Zeile, die Probleme macht, auskommentiert.

@ telefonsparbuch:
ich hätte in den Ausgaben der "downloadTransfer.sh" auch so schöne "OK"-Buttons. Wie stelle ich das an? <p class=msg> hab ich schon drin. Zur Zeit sieht mein Code so aus:

echo "<p class=msg>NAS-Downloadverzeichnis in der Config nicht eingetragen. Bitte überprüfen Sie die Einstellungen</p>"

 

[TelefonSparbuch]

Der Bereich, wo die msg Ausgaben ausgegeben werden, muss ein msgBlock Feld haben ( echo -n "<div id=msgBlock>" ...... echo "</div>" )

 

[roadman17]

@Solo0815
Um an das vierte Element zu kommen gibt es durchaus Alternativen, wovon ich eine eingecheckt habe.

Ich habe dir auch smbclient zum Experimentieren angehängt, das ich meinem OpenWRT-Chroot entnommen habe (siehe auch http://www.ip-phone-forum.de/showthread.php?t=245505)

Eine alternative zum cifsmount wäre noch smbnetfs, aber smbclient ist vermutlich einfacher zu verwenden, da es vor allem keinen mount und unmount benötigt.
Mit deinem neuen Freetz-Sytem kannst du dann vermutlich mit

./smbclient //fritz.box/uStor01 -c 'ls'

die Dateien auf deinem USB-Stick auflisten.

 

[Solo0815]

Danke für den schnellen Fix. Wollte mich gerade selbst drüber machen. Ich hätte awk nicht benutzt, wenn es nicht auf der Kommandozeile der FB funktioniert hätte

den smbclient probier ich morgen mal aus. Danke

@ Telefonsparbuch:
Habs jetzt mal so eingebaut:

echo -en "<div id=msgBlock><p class=msg>$1</p></div>"

Passt das so, oder ist das doppelt gemoppelt? Kann das <p class= auch weg?

Noch was:
Wie müsste ein Output in eine Datei aussehen, mit dem man beim Dateitransfer eine Fortschrittsanzeige darstellen kann? Ich hätte da gerne einen Balken dafür
Ist eine Prozentausgabe OK oder müsste das in kB o.ä. sein?

 

[TelefonSparbuch]

<p class=msg>$1</p>

Sollte natürlich nur innerhalb des Divs auftauchen, wenn es eine Meldung gibt. Auch sollte der Div-Block nur einmalig im HTML Code auftauchen - auch wenn es mehrere Message-Ausgaben geben sollte!

Schau Dir die Speedbar Dateien an, ist schwierig das jetzt alles zu erklären...

 

[makaveli187]

Hi!

Ich habe eine 7270v3 mit FRITZ!OS 05.21 und verwende derzeit die V0.42/Rev.: 2093

Kann es sein, dass das mitgelieferte busybox-binary korrupt ist?
Der Befehl

./busybox awk

bleibt mit einer leeren Zeile einfach stehen. Keine Versionsinfo, keine Usage-Ausgabe, nichts.
Mit Ctrl+C kommt wieder das gewohnte '#'.
Ich habe testweise auch eine ältere FL-Version installiert (1835, April 2012), ohne Erfolg...

Ich habe eine zwei ältere binaries aus der ssh-Installation mit "awk" aufgerufen, da kommen die erwarteten Ausgaben:

# ./busybox1.9.0 awk
BusyBox v1.9.0 (2008-01-16 01:35:36 CET) multi-call binary

Usage: awk [OPTION]... [program-text] [FILE...]

Options:
        -v var=val      Set variable
        -F sep          Use sep as field separator
        -f file         Read program from file

bzw.

# ./busybox26 awk
BusyBox v1.16.0 (2010-04-30 16:54:08 CEST) multi-call binary.

Usage: awk [OPTIONS] [AWK_PROGRAM] [FILE]...

Options:
        -v VAR=VAL      Set variable
        -F SEP          Use SEP as field separator
        -f FILE         Read program from FILE

In der Fritzload ist derzeit diese Version

BusyBox v1.18.4 (2011-04-04 19:55:06 CDT)

daher dachte ich auch nicht wirklich, dass eine FL-Version von April 2012 eine Änderung bringt...

EDIT:
Ich habe die 1.18.4 frisch von busybox.net runtergeladen, der filecompare ergab keine Unterschiede.
Daraufhin habe ich die 1.19.0 runtergeladen. Die hat aber das gleiche Fehlerbild.
Habe dann alle verfügbaren Versionen (1.16.0, 1.16.1, 1.17.2 und 1.18.0) runtergeladen. Alle haben das gleiche Fehlerbild.

Komischerweise, funktioniert ja das awk mit der 1.60.0 aus meiner ssh-Umgebung.
Ich weiss nur nicht, woher ich die habe und welche switches bei dieser gesetzt sind...


EDIT2:
Ich habe die busybox durch die v1.16.0 aus meiner ssh-Umgebung ersetzt. Der wireshark-decrypter findet zwar immer noch nichts, aber er bleibt zumindest nicht hängen.
Kann jemand sagen, ob die 1.18 zwingend notwendig ist, oder ob die 1.16 auch tut?
Wollte die Datei anhängen, aber irgendwie funktioniert der Upload nicht. Ich ermittle gleich mal die unterschiedlichen Befehle.


EDIT3:
Habe die Versionen verglichen:

Diese Befehle fehlen in BusyBox v1.16.0

acpid, add-shell, adjtimex, arp, base64, beep, blkid, blockdev, bootchartd, brctl, bzip2, cal, chat, chpasswd, chpst, comm, cryptpw, cttyhack, depmod, dhcprelay, dumpleases, ed, envdir, envuidgid, expand, fakeidentd, fbset, fbsplash, fdisk, fgconsole, findfs, flock, fsck.minix, fsync, ftpd, ftpget, ftpput, hd, httpd, hush, ifenslave, ifplugd, ionice, iostat, ipcalc, kbd_mode, logread, lpd, lpq, lpr, lzcat, lzma, lzop, lzopcat, makemime, man, microcom, mkdosfs, mke2fs, mkfs.ext2, mkfs.minix, mkfs.vfat, mkpasswd, modinfo, mpstat, nbd-client, nc, nmeter, ntpd, pgrep, ping6, pkill, pmap, popmaildir, powertop, pscan, raidautorun, rdev, readahead, reformime, remove-shell, rev, rpm, rpm2cpio, rtcwake, runsv, runsvdir, rx, script, scriptreplay, sendmail, setfont, setuidgid, showkey, slattach, smemcap, softlimit, split, stat, sum, sv, svlogd, tac, tcpsvd, telnetd, tftpd, timeout, traceroute6, ttysize, tunctl, udhcpd, udpsvd, unexpand, unlzop, unxz, volname, wall, xz, xzcat, zcip

Sieht jemand auf Anhieb, ob ein verwendeter Befehl darunter ist?


Der Vollständigkeithalber, diese Befehle fehlen in BusyBox v1.18.4

ar, flash_eraseall, flash_lock, flash_unlock, flashcp, lzmacat

Werde im Anschluss mal suchen, woran der decrypter scheitert...


EDIT4:
So, der wireshark-decrypter funktioniert jetzt auch.

Ich hatte "Paketmitschnitt ohne DSL-Rahmen (Standard)" eingestellt gehabt. Da scheint die FritzBox ein anderes Protokollformat auszuspucken.
Es kommt die Meldung (wie schon mal hier von jemandem berichtet):

tcpdump Meldung:
reading from file /var/media/ftp/JetFlash-Transcend16GB-01/downloads/wireshark.eth, link-type 14
tcpdump: unknown data link type 14

Wireshark (Windows) kann diese Datei jedenfalls öffnen und ich sehe auch die Links. Wireshark sagt aber das Format der Protokolle als "Modified tcpdump - libpcap" an.
Speichere ich die geöffnete Datei im Format "Wireshark/tcpdump - libpcap", so kann FL plötzlich alles entschlüsseln.

Die Lösung ist aber noch einfacher. Ich habe in FritzLoad das Protokoll auf "lan - Paketmitschnitt Interface" eingestellt".
Wireshark gibt das Format zwar immernoch als "Modified tcpdump - libpcap" an, aber der decrypter meldet keine fehler mehr und entschlüsselt die Links, Heureka!

An dieser Stelle nochmals: HAMMERS ARBEIT LEUTE!!! Das Tool gefällt immer mehr ;-)


Grüße

 

[Solo0815]

Aha! Daher also die Probleme mit der BBox!
Wers ausprobieren möchte:

/var/fritzload/bin/busybox awk

bleibt hängen -> Ctrl + C

/var/fritzload/bin/busybox26_SVN_unter1542 awk

funktioniert!

Sollten wir doch wieder auf die alte BBox zurück oder ein alias/Funktion für awk (alte Version) schreiben?

 

[makaveli187]

Hi!

Woher stammt denn die verwendete busybox?
Hat die jemand von Euch compiliert?
Ich habe versucht eine VM zur FritzBox-Entwicklung aufzusetzen, aber die Anleitungen, sind entweder veraltet oder greifen nicht.

Es ist ja auch komisch, dass keine der Versionen von der besagten Seite mit dem awk-Befehl klar kommen.
Ich frage mich, ob da evtl. noch mehr/andere Bugs drin sind...

EDIT:
Ich habe das mal als Bug weitergeleitet:
https://bugs.busybox.net/show_bug.cgi?id=5192



Grüße


PS: Falls Ihr das selber compiliert, kann mir jemand eine "Starthilfe" geben?
Würde auch gerne eine lauffähige Umgebung haben für eine neuere tcpdump-Version.
Evtl. Liegt das "unknown data link type 14" nur daran...

 

[Solo0815]

Die busybox ist von der offiziellen Seite, siehe auch hier: http://sourceforge.net/apps/trac/avmload/browser/trunk/FritzLoad/bin/busybox26?rev=1542

Hat vorher tadellos funktioniert. Ich vermute, dass es an der neuen FB-Firmware 54.05.21 liegt. Vielleicht können ein paar Leute die oberen Befehle testen, damit wir der Sache auf den Grund gehen können. Wenn es so wäre, sollten wir AVM den Bug melden.

Vielleicht kann auch einer mal die aktuellen Sourcen der BBox für die 7270 kompilieren, da sind lt. Homepage einige Segvault-Fixes drin. K.A. obs was bringt.

@makaveli:
Du solltest beim Bug-Report noch die Prozessor-Architektur (mips?) und den Kernel (2.6.32.41) hinzufügen, da das Problem _anscheinend_ nur auf der FB mit diesem Kernel auftritt. (<- was noch zu testen ist)

 

[makaveli187]

@makaveli:
Du solltest beim Bug-Report noch die Prozessor-Architektur (mips?) und den Kernel (2.6.32.41) hinzufügen, da das Problem _anscheinend_ nur auf der FB mit diesem Kernel auftritt. (<- was noch zu testen ist)

Danke für den Hinweis. Die Architektur (mipsel) steht zwar schon im Titel, werde es aber nochmals aufnehmen.

EDIT:
Was gegen das Argument, dass es am Kernel liegt sprechen könnte ist, dass ich ja eine 1.60.0 habe, die funktioniert. Ich weiss nur nicht, wer die compiliert hat bzw. aus welcher Umgebung die kommt. Ich vergleiche die mal mit der aus der rev1542, melde mich gleich wieder...

EDIT2:
Jetzt verstehe ich, die busybox26 aus der 1542 ist die bis jetzt verwendete Version, nur eben umbenannt. Da meine 1.16 auch busybox26 benannt war, dachte ich, das wäre noch eine ganz andere Version...
Jedenfalls, die busybox24 funktioniert gar nicht

./busybox24: can't resolve symbol '__uClibc_start_main'

Das liegt wahrscheinlich daran, dass das für einen 2.4er Kernel gedacht ist, oder?

Der Upload meiner busybox-Version hat diesmal geklappt:
Anhang anzeigen busybox_MaC.zip

 

[roadman17]

@makaveli187

Ich denke die busybox-Probeme hängen mit der Art und Weise wie busybox kompiliert wurde und mit dem AVM-Kernel.
Die Binaries von der Busybox-Seite wurden mit Aboriginal Linux kompiliert. Die Binaries, die mit der Freetz-Toolchain kompiliert wurden funktionieren ja offensichtlich. Es kann natürlich auch an den Optionen liegen.

Die busybox24 wurde einfach für eine andere uClibc-Version kompiliert.

Benutzt du den Paketmitschnitt von Fritzload für den Linkimport aus jDownloader. Falls dies zutrifft, ist es wahrscheinlich praktischer mit jDownloader die Linkliste als jdc-Container zu exportieren, um sie danach in Fritzload zu importieren.

 

[makaveli187]

Hi!

Danke für die Hintergrundinfos. Das bedeutet doch aber, dass ich mit der Freetz-VM in der Lage sein müsste selber die aktuellste busybox lauffähig zu compilieren, oder?
An dieser Stelle bin ich jedenfalls gescheitert und habe es später aufgegeben...

Bzgl. Mitschnitt, ja, ich verwende es in Verbindung mit JD. Jedoch kommen die Links von [darf ich wahrscheinlich nicht posten].org. Und JD speichert in diesem Fall NICHT die DL-Links der einzelnen Sharehoster, sondern nur den Link zu der Captcha-geschützen Seite von [darf ich wahrscheinlich nicht posten].org. Selbst wenn Du diese Datei mit JD öffnest, musst Du die Captchas nochmal eingeben. Lediglich der "Onlinestatus prüfen" gibt den wahren Link preis.

Ich bin heute erst wieder über das Thema "Fritz!Load Click'n'Load Erweiterung" gestolpert, nach dem ich es verzweifelt gesucht hatte. Evtl. reicht das bereits und ich kann den JD vollends aus lassen.

Ist es eigentlich möglich diese Captcha-Eingabefunktion auch für das add_url zu verwenden? Dann wären meine Probleme wieder geringer.
Ich habe bereits eine lokale PHP aufgebaut, die alle ShareHoster-Links aus der genannten geschützten Seite herausholt. Aber ich schaffe es (noch) nicht, die Captcha-Eingabe komfortabel zu gestalten.
Ich hätte hier gern die Auflistung aller Captchas, die ich nach Eingabe und Übergabe via Ajax nach und nach parsen lasse.

Oder ist Ajax schon wieder veraltet?
Falls man das noch nicht gemerkt hat, ich habe seit langem nichts mehr mit PHP, Linux & Co. gemacht ;-)


Grüße

 

[Solo0815]

Hi!

Danke für die Hintergrundinfos. Das bedeutet doch aber, dass ich mit der Freetz-VM in der Lage sein müsste selber die aktuellste busybox lauffähig zu compilieren, oder?
An dieser Stelle bin ich jedenfalls gescheitert und habe es später aufgegeben...

Falls du es nochmal versuchen möchtest: http://www.wehavemorefun.de/fritzbox/Busybox_ersetzen

 

[makaveli187]

Hi!

Genau diese Anleitung bin ich zunächst auch durchgegangen.
Aber irgendwie scheint der "export_s" schon nicht zu funktionieren.
Ich bin gerade nicht zu Hause, daher kann ich nicht mit expliziten Fehlermeldungen dienen.
Der Aufruf an sich bringt zwar keine Fehlermeldung, aber die Umgebungsvariablen sind nach dem Aufruf nicht gesetzt. (echo $...)
Der "make menuconfig"-Aufruf fährt dannach (natürlich) voll gegen die Wand.

Ich glaube hier wäre mir schon geholfen, wenn mir jemand eine lauffähige export_s bereitstellen könnte...bitte

Ich habe noch eine andere Anleitung gefunden, wo beschrieben wird, die Tool-Chain unter /usr zu installieren.
Aber da kommt zuerst der fehler, dass ich in das Verzeichnis nicht reinschreiben kann.
Verwende ich dann sudo, geht der nächste Schritt (das "make menuconfig") schief, weil es dem root untersagt ist, make aufzurufen.

Sowas geht dann voll auf die Motivation...

EDIT:
Für den ersten Fall habe ich die Tool-Chain-Umgebung des Freetz-Trunks verwendet. Habe also dem Script entsprechend links gesetzt
und entsprechend die Befehle
"mipsel-linux-uclibc-gcc" durch "gcc" und
"mipsel-linux-uclibc-cpp" durch "g++" ersetzt.


Grüße

 

[roadman17]

@makavelli187
Ich meine ja auch JDC- und nicht DLC-Container. Also
JDownloader -> Datei -> Linkliste speichern -> Name angeben -> Passwort jddefault
Danach entweder die Datei per Drag & Drop in das Neu- bzw Links-Textfeld von Fritzload ziehen oder auf der Decrypt-Seite von Fritzload öffnen.

 

[Solo0815]

Könnt ihr mal bitte die Datei ausprobieren: Anhang anzeigen busybox-test.tar.gz Sie stammt aus meine Freetz-Installation vom Samstag.
Ist die BBox 1.19.4 und funktioniert mit awk auf einer FB 7270.

 

[rolex0815]

Hab jetzt wahllos ein paar Befehle eingegeben auch eine Datei am Stick kopiert und gelöscht.
Sieht gut aus! :mrgreen:

 

[makaveli187]

@roadman17: Oh, es gibt einen Unterschied zwischen JDC und DLC, gut zu wissen. Vielen Dank für den Tipp!

@Solo0815: Bei mir (7230v3 05.21) funktioniert das awk auch bei Deiner Version. Auch das Decrypten läuft.
Das Einzige, was mir aufgefallen ist, die ist nur ein drittel so gross, wie die "originale". Die ist sogar fast nur halb so gross wie meine 1.16er
Ist das eine dynamisch gelinkte version? Oder fehlen in dieser ein paar Funktionen? Werde gleich mal nen Vergleich wie gestern machen...

Bis auf Weiteres werde ich jedenfalls Deine Version als Ersatz verwenden kurzum -> VIELEN DANK!

EDIT:
Vergleich abgeschlossen
Fehlt in der BusyBox v1.19.4 (2012-05-02 10:30:31 CEST) multi-call binary.

acpid, add-shell, base64, beep, blkid, blockdev, bootchartd, brctl, bzip2, cal, catv, chat, chattr, chgrp, chpasswd, chpst, chrt, chvt, cksum, comm, cpio, cttyhack, dc, deallocvt, depmod, devmem, dhcprelay, diff, dnsd, dos2unix, dumpkmap, dumpleases, ed, eject, envdir, envuidgid, expand, fakeidentd, fbset, fbsplash, fdflush, fdformat, fdisk, fgconsole, findfs, flock, fold, freeramdisk, fsck, fsck.minix, fsync, ftpd, fuser, getty, hd, hdparm, hostid, hush, hwclock, ifenslave, ifplugd, install, ionice, iostat, ipaddr, ipcalc, ipcrm, ipcs, iplink, iproute, iprule, iptunnel, kbd_mode, killall5, last, length, linux32, linux64, linuxrc, loadfont, loadkmap, lpd, lpq, lpr, lsattr, lspci, lsusb, lzcat, lzma, lzop, lzopcat, makemime, man, mdev, mesg, microcom, mkdosfs, mke2fs, mkfs.ext2, mkfs.minix, mkfs.vfat, mktemp, modinfo, mountpoint, mpstat, mt, nameif, nbd-client, nmeter, ntpd, openvt, patch, pgrep, ping6, pipe_progress, pkill, pmap, popmaildir, powertop, printenv, pscan, raidautorun, rdev, readahead, readlink, readprofile, reformime, remove-shell, renice, resize, rev, rpm, rpm2cpio, rtcwake, run-parts, runlevel, runsv, runsvdir, rx, script, scriptreplay, sendmail, seq, setarch, setfont, setkeycodes, setsid, setuidgid, sha1sum, sha256sum, sha512sum, showkey, slattach, smemcap, softlimit, split, stat, su, sulogin, sum, sv, svlogd, switch_root, tac, tcpsvd, tftpd, timeout, traceroute6, ttysize, tunctl, udhcpc, udhcpd, udpsvd, unexpand, unix2dos, unlzma, unlzop, unxz, vlock, volname, wall, watch, watchdog, who, whoami, xz, xzcat, zcip

Hat mehr als die BusyBox v1.18.4 (2011-04-04 19:55:06 CDT) multi-call binary.

stun-ip, whois

Grüße

 

[Solo0815]

Warum die kleiner ist, musst du die Freetz-Leute fragen Sicherlich, es fehlen einige Befehle, aber nichts wichtiges für F!L, soweit ich gesehen hab.
Edit: Mist! stat ist nicht drin *grrrr*

Edit #2: mit SVN 2100 ist jetzt die neue busybox drin. Bei wem es nicht klappt, bitte auf die 2099 zurück und nen Bugreport hier und in den Tickets aufmachen. Danke