Fritz!Load - (Oneclickhoster-) Down- und Uploads via FB

[Yodafrosch]

@Lolmir
Auch MU hat ab und an Probleme - ist aber nicht weiter tragisch, am nächsten Tag (oder einem IP-Wechsel) funktioniert es dann. Da F!L die Dateinamen extrahiert erkennt man ja, dass die Dateien ladbar sind, aber aus irgendeinem Grunde klappt es eben manchmal nicht.

06.01.12-03:33; http://www.megaupload.com/?d=XXXBDU47 #XXXd1bxr.part01.rar
06.01.12-03:33; http://www.megaupload.com/?d=XXXS3X59 #XXXd1bxr.part02.rar
06.01.12-03:34; http://www.megaupload.com/?d=XXXX54FS #XXXd1bxr.part03.rar
06.01.12-03:34; http://www.megaupload.com/?d=XXXYJOHA #XXXd1bxr.part04.rar
06.01.12-03:34; http://www.megaupload.com/?d=XXXXKQ4J #XXXd1bxr.part05.rar
06.01.12-03:34; http://www.megaupload.com/?d=XXXOR6A5 #XXXd1bxr.part06.rar
06.01.12-03:35; http://www.megaupload.com/?d=XXXSXPLB #XXXd1bxr.part07.rar
06.01.12-03:35; http://www.megaupload.com/?d=XXXHES1D #XXXd1bxr.part08.rar

@rolex0815
Super Sache, dass nun auch easyshare dabei ist. Dabei geht es mir aber so wie dir mit 4shared... ich habe keine Testlinks, werde mir aber mal bei Gelegenheit welche suchen geh'n.

Für 4shared hab ich mal Testlinks. Dabei handelt es sich immer um die gleiche Datei, lediglich mit gänderten Dateiendungen, weil 4shared für jeden Dateityp eine eigene Downloadseite bereitstellt. RAR, PDF, MP3 funktionieren - AVI nicht :motz: also muss ich da nochmals ran
HowTo-Ext2_Filesystem.pdf
HowTo-Ext2_Filesystem.mp3
HowTo-Ext2_Filesystem.avi
HowTo-Ext2_Filesystem.rar


@ukvideo
Tolle Sache mit der Auswahl , man müsste ggf. noch ein paar Worte im Wiki darüber verlieren. Ich kann mich noch an meine ersten Gehversuche mit F!L erinnern und wurde von der Optionen erst mal erschlagen (vor allem die unterschiedlichen Möglichkeiten Premium zu nutzen betreffend).

Wenn jemand jetzt noch uploading.com hinbekommen würde...

Da muss ich leider passen
Ich konnte zwar die Zeilen 37 und 73 erfolgreich ändern

#		filename="$(grep "<h2>" $f | sed '1d' | sed '2d' | sed -e 's/.*<h2>\([^<]*\).*/\1/')"
		filename="$(grep " kostenlos von Uploading.com herunterladen" $f | sed -e 's/.*>\(.*\) kostenlos.*/\1/')"

#		url2="$(sed -e 's/\\//g' -e 's/.*link\": \"\([^\"]*\).*/\1/' $f)"
		url2="$(sed -e 's/\\//g' -e 's/.*link\":\"\([^\"]*\).*/\1/' $f)"

dass nun wieder der Dateiname und der finale Link erkannt werden. Allerdings führt dieser nun zu einer Webseite, auf der "Lädt gerade..." zu lesen ist. Viel scheint nicht zu fehlen, aber eben Entscheidendes was meine derzeitigen Möglichkeiten bei weitem übersteigt.

 

[rolex0815]

4shared konnte ich schon erfolgreich testen. Idiotisch diese Vorgehensweise, die Links in Office, Video, Musik, etc. einzuteilen. :motz:

bei uploading.com bekomme ich mit dem curl immer die englische Seite (fehlendes $LANG, was auch immer), deshalb hat das mit dem Filenamen nicht geholfen. Ist nun repariert, uploading.com sollte wieder funktionieren.


Ich lade mal die Änderungen hoch bzgl. Check der parallelen Downloads.

Ein weiterer neuer Hoster: filepost.com

https://sourceforge.net/apps/trac/a...experimental_hoster/rolex0815/filepost_com.sh

 

[Yodafrosch]

Idiotisch diese Vorgehensweise, die Links in Office, Video, Musik, etc. einzuteilen.

Naja für Archive haben sie auch eigene Kategorien, zip, rar und archive^^. Das ist aber alles gar nicht so schlimm. Was mich letzten Endes wirklich nervte war, dass es für Fotos keine Wartezeit gibt und der Aufruf demzufolge anders ausfallen musste.
Ich habe es nun aber erfolgreich mit .7z, .avi, .exe, .leckmich, .m4a, .mp3, .ogg, .pdf, .png, .rar, .zip getestet. Testlinks und Plugin hänge ich an.

Wegen crocko.com (Fehler wenn Leerzeichen im Dateinamen):
Schau mal, ob das bei dir auch bei den nichtfunktionierenden Downloads hilft. Bei mir scheint es zu klappen.

#		filename=$(grep -m1 "<strong>" $f | sed -n 's|.*ownload:.*<strong>\([^ ]*\)<\/strong>.*|\1|p' | sed 's|<br>||g')
		filename=$(grep -m1 "Download:.*<strong>" $f | sed -n 's|.*ownload:.*<strong>\([^<]*\).*|\1|p' | sed 's|<br>||g')

Edit: Hilft nur halb - wird zwar geladen, aber lädt nun ewig. Aus "Dateiname mit Leerzeichen" wird "Dateiname+mit+Leerzeichen". Der wird korrekt geladen, aber dann hängt F!L.

FritzLoad Revision 1671 gestartet 07.01.2012 19:25:40: ./fritzload.sh i5 -l /var/media/ftp/General-USBFlashDisk-01/FritzLoad/config/dl_jobs5.txt  
### crocko_com-free: http://www.crocko.com/08154712/
19:25:43 Warte auf Internetverbindung...
19:25:45 GET1: http://www.crocko.com/08154712/ Options: --cookie-jar /var/tmp/fritzload5/cookie.txt
Changed-Filename: Dateiname mit Leerzeichen.3gp
File: /var/media/ftp/TrekStor-DSmaxim-u-01/downloads/Dateiname mit Leerzeichen.3gp
ash: 1: unknown operand
19:25:51 Warte 14 Minuten und 10 Sekunden
19:25:51 Reconnect Signal-Datei: /var/media/ftp/General-USBFlashDisk-01/FritzLoad/bin/../tmp/signal.reconnect.disabled
19:40:01 GET2: http://www.crocko.com/08154712/ Options: -b /var/tmp/fritzload5/cookie.txt --referer http://www.crocko.com/08154712/
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed

  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
100  3059  100  3059    0     0   3965      0 --:--:-- --:--:-- --:--:--  7130
Warte auf Antwort von Captcha Brotherhood........Fertig
File: /var/media/ftp/TrekStor-DSmaxim-u-01/downloads/Dateiname_mit_Leerzeichen.3gp
ash: 1: unknown operand
Freier Speicher auf /var/media/ftp/TrekStor-DSmaxim-u-01/downloads: 419930 Mbyte
Reservierter Speicher aller Instanzen: 154 Mbyte
URL-Download (T:1/R:5): http://d15.crocko.com/file_contents/file/id/EDDE1C6CXXXXX1E09676002481FAD55A/skey/FdQ3SomFlAqnt/cont_id/47 (File: Dateiname_mit_Leerzeichen.3gp)
MSG: 19:42: Korrigiere Dateinamen von (Dateiname_mit_Leerzeichen.3gp) in (Dateiname+mit+Leerzeichen.3gp)
File: /var/media/ftp/TrekStor-DSmaxim-u-01/downloads/Dateiname+mit+Leerzeichen.3gp
19:42:13 Download-OK: time:0:01:50 size:3187k speed:29546
19:42:13 Warte 0 Minuten und 2 Sekunden
19:42:14 Reconnect Signal-Datei: /var/media/ftp/General-USBFlashDisk-01/FritzLoad/bin/../tmp/signal.reconnect.disabled
19:42:16 GET1: http://www.crocko.com/08154712/ Options: --cookie-jar /var/tmp/fritzload5/cookie.txt
Changed-Filename: Dateiname mit Leerzeichen.3gp
File: /var/media/ftp/TrekStor-DSmaxim-u-01/downloads/Dateiname mit Leerzeichen.3gp
ash: 1: unknown operand
19:42:20 Warte 20 Minuten und 0 Sekunden
19:42:20 Reconnect Signal-Datei: /var/media/ftp/General-USBFlashDisk-01/FritzLoad/bin/../tmp/signal.reconnect.disabled

Wegen uploaded:
Bei mir (als FreeUser) funktioniert mein Testlink nicht. Auf deinem Bild lädst du als Premium, da scheint es zu klappen.
Testlink
Edit: Wenn der Link kein "/" am Ende hat, klappt es mit dem Dateinamen. Aber der
Testlink wird trotzdem nicht geladen. Geladen wird wieder die Webseite, auf der "Lädt gerade..." steht.

 

[rolex0815]

Bie 4shared konnte ich alle Testlinks erfolgreich laden.

Das es mit dem Filenamen bei crocko Probleme gibt, habe ich noch gar nicht bemerkt. Bei mir kam das unvorhersehbare Verhalten immer am Schluss, wo der Download sofort startet, wenn das Captcha richtig eingegeben wurde. Danke für den Hinweis.

Bin bei uploading.com auch Freeuser. Der Premium Haken ist nur angehakt, aber wirkungslos.

Dein Testlink wird bei mir übrigens ohne Komplikationen heruntergeladen.

Anhang anzeigen log.zip

Egal ob mit oder ohne Slash am Ende. Bei mir wird geladen.

 

[roadman17]

Bei der currentlyLoading-Funktion würde ich vorschalgen zusätzlich noch mit "ps w" zu schauen, ob eine curl-Instanz gerade einen Download der entsprechenden Datei durchführt.

 

[rofla]

moin moin,
habe eine fritzbox 7330; und zu dieser in diesem thread und bei google noch nix gefunden!
ist es gefahrlos, die installation wie im wiki genannt einfach mal durchzuführen?

 

[Yodafrosch]

Hallo rofla,

spricht nichts dagegen. Bei Firmware >xx.04.89 solltest du die install.sh durch die alternative install.sh ersetzen und dann erst ./install -i aufrufen, dann sollte alles funktionieren. Kaputt machen kannst du nichts.


@all
Kann es sein, dass sich in den letzten Tagen ein kleiner Bug eingeschlichen hat? Ich bekomme bei Rev. 1672 bei jedem Download:

ash: 1: unknown operand

Edit: Hat sich erledigt, lag am nicht gesetzten Haken des Parallel-DL-Checks.

WICHTIG: Bitte beachten bei einem Update auf >= Rev. 1671 muss auf der config-Seite bei Parallel-DL-Check etwas angehakt werden, sonst tritt o.a. Fehler auf und manche Hoster funktionieren nicht mehr!


Ich bin probeweise auf 1651 zurück (da trat es nicht auf) und dann via Diff-Update wieder auf die 1672. Siehe Log.
FritzLoad Revision 1651 gestartet 08.01.2012 16:15:06: ./fritzload.sh i2 -l /var/media/ftp/General-USBFlashDisk-01/FritzLoad/config/dl_jobs2.txt
### rapidshare_com-free: http://rapidshare.com/files/4712/XXXgd1bxe.part43.rar
16:15:07 Warte auf Internetverbindung...
16:15:08 CHECK: http://api.rapidshare.com/cgi-bin/rsapi.cgi?sub=checkfiles&files=4712&filenames=XXXgd1bxe.part43.rar Options:
MSG: 16:15: File OK
File: /var/media/ftp/TrekStor-DSmaxim-u-01/downloads/XXXgd1bxe.part43.rar
16:15:11 PREPARE: http://api.rapidshare.com/cgi-bin/r...leid=4712&filename=XXXgd1bxe.part43.rar&try=1 Options:
File: /var/media/ftp/TrekStor-DSmaxim-u-01/downloads/XXXgd1bxe.part43.rar
Freier Speicher auf /var/media/ftp/TrekStor-DSmaxim-u-01/downloads: 422032 Mbyte
Reservierter Speicher aller Instanzen: 72 Mbyte


FritzLoad Revision 1672 gestartet 08.01.2012 16:49:44: ./fritzload.sh i2 -l /var/media/ftp/General-USBFlashDisk-01/FritzLoad/config/dl_jobs2.txt
### rapidshare_com-free: http://rapidshare.com/files/4712/XXXgd1bxe.part44.rar
16:49:45 Warte auf Internetverbindung...
16:49:47 CHECK: http://api.rapidshare.com/cgi-bin/rsapi.cgi?sub=checkfiles&files=4712&filenames=XXXgd1bxe.part44.rar Options:
MSG: 16:49: File OK
File: /var/media/ftp/TrekStor-DSmaxim-u-01/downloads/XXXgd1bxe.part44.rar
16:49:48 PREPARE: http://api.rapidshare.com/cgi-bin/r...leid=4712&filename=XXXgd1bxe.part44.rar&try=1 Options:
16:49:49 Warte 0 Minuten und 4 Sekunden
16:49:50 Reconnect Signal-Datei: /var/media/ftp/General-USBFlashDisk-01/FritzLoad/bin/../tmp/signal.reconnect.disabled
File: /var/media/ftp/TrekStor-DSmaxim-u-01/downloads/XXXgd1bxe.part44.rar
ash: 1: unknown operand
Freier Speicher auf /var/media/ftp/TrekStor-DSmaxim-u-01/downloads: 421797 Mbyte
Reservierter Speicher aller Instanzen: 43 Mbyte


RS scheint es nicht zu stören, allerdings verträgt MU wohl etwas nicht. Hab ich den Fehler exklusiv oder können den andre bei sich reproduzieren?

 

[rolex0815]

Bei der currentlyLoading-Funktion würde ich vorschalgen zusätzlich noch mit "ps w" zu schauen, ob eine curl-Instanz gerade einen Download der entsprechenden Datei durchführt.

Hmm, also ich sehe mit "ps" und "ps w" nur daß F!L gerade lädt, aber nicht welcher Link, bzw. welche Datei. Da scheint das Fenster abgeschnitten zu sein. Ein Umleiten führt auch zu nix:

# ps > ps.txt
# ps w > ps.txt

ps.txt:

/var/media/ftp/WD-MyPassport0740-01/FritzLoad/bin/../bin/curl -A 4 --location --speed-limit 500b --speed-time 400 --limit-rate 1000000k --user-agent User-Agent: Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6;

ps_w.txt:

/var/media/ftp/WD-MyPassport0740-01/FritzLoad/bin/../bin/curl -A 4 --location --speed-limit 500b --speed-

Also wird mit "ps w" noch weniger ausgegebn.

@Yodafrosch:
[uploading.com, crocko.com] Ich schau's mir später dann nochmals an, was da spinnt.
Werde dann aber leider auch wieder weniger Zeit haben.

 

[rofla]

spricht nichts dagegen. Bei Firmware >xx.04.89 solltest du die install.sh durch die alternative install.sh ersetzen und dann erst ./install -i aufrufen, dann sollte alles funktionieren. Kaputt machen kannst du nichts.

installation hat problemlos geklappt, decrypt und stat des downloads auch, allerdings wird durch fritzload anscheinend die box ausgelastet: das gui (sowohl von fritzload als auch das von avm) ist nicht erreichbar, internet browsen funkt ne weile noch (langsam, anscheinen läuft der dl!), dann 2 min später reboot der box.
fritzbox 7330 auf neuester offi. firmware

 

[Yodafrosch]

@Yodafrosch:
[uploading.com, crocko.com] Ich schau's mir später dann nochmals an, was da spinnt.
Werde dann aber leider auch wieder weniger Zeit haben.

Warte erst mal ab. Ich habe da einen andren Verdacht, siehe mein Edit oben wegen "ash: 1: unknown operand".
Entweder hat sich eine kleiner Bug eingeschlichen und es ist bei allen - oder bei mir alleine stimmt etwas nicht, dann installier ich einfach nochals neu. Erstaunlich ist eben, dass Rev. 1651 tadellos funktioniert und 1672 dann nicht, so dass ich eigentlich nicht davon ausgehe, dass ich den Fehler alleine habe.

@rofla
Hmm, das klingt nach einer 05er Firmware. Die alternative install.sh hast du installiert und ausgeführt? Wenn ja, gibt es noch alternativ diese Startmethode (in der Konsole unter Telnet):

echo "while !(/var/media/ftp/DEIN_USB_STICK/FritzLoad/bin/install.sh /var/media/ftp/DEIN_USB_STICK/FritzLoad -g); do sleep 5; done" > /var/flash/debug.cfg

DEIN_USB_STICK musst du dann noch gegen den Namen deines Sticks oder deiner HD ersetzen. Außerdem musst du zusätzlich noch auf der Konfigurationsseite den Downloadpfad manuell setzen, da /var/fritzload/downloads bei diesem Aufruf nicht existiert.
Damit sollte es dann eigentlich klappen.

 

[roadman17]

@rolex0815
Das mit dem Abschneiden ist natürlich ungünstig. Alternativ könnte man schauen, welche Fritzload-Instanzen aktiv sind und im temporären Verzeichnis der Instanz schauen, welche Datei geladen wird (/var/tmp/fritzload${instanz}/dl.progress.file)

Probier auch mal

ps -ww | grep [c]url

oder auch

ps -ww | grep [c]url | sed -n 's,.*--output [^ ]*/\([^ ]*\).*,\1,p'

 

[rolex0815]

Genial, daß ein zweites 'w' reicht; darauf wär ich nicht gekommen. Kenne es zwar von -v oder auch -v(vv) aber nicht bei ps.
Der Teil mit dem sed bringt übrigens genau die gerade ladende Datei.

 

[rofla]

@rofla
Hmm, das klingt nach einer 05er Firmware. Die alternative install.sh hast du installiert und ausgeführt? Wenn ja, gibt es noch alternativ diese Startmethode (in der Konsole unter Telnet):

echo "while !(/var/media/ftp/DEIN_USB_STICK/FritzLoad/bin/install.sh /var/media/ftp/DEIN_USB_STICK/FritzLoad -g); do sleep 5; done" > /var/flash/debug.cfg

DEIN_USB_STICK musst du dann noch gegen den Namen deines Sticks oder deiner HD ersetzen. Außerdem musst du zusätzlich noch auf der Konfigurationsseite den Downloadpfad manuell setzen, da /var/fritzload/downloads bei diesem Aufruf nicht existiert.
Damit sollte es dann eigentlich klappen.

Firmware ist folgende: 107.05.06

Sehe ich das richtig dass ich das Tool erst wie im Wiki beschrieben de- und dann mit obigem Befehl neuinstalliere, oder ist das nicht nötig?

 

[Yodafrosch]

Das ist nicht nötig, da ja nur die debug.cfg mit der Zeile überschrieben wird.

 

[rolex0815]

ps -ww | grep [c]url | sed -n 's,.*--output [^ ]*/\([^ ]*\).*,\1,p'

Ist nun eingebaut. Beim Parallel Check wird nun geschaut, ob eine curl Instanz das File gerade lädt und wenn das der Fall ist, wird es übersprungen.
Ist das nicht der Fall, wird von einer Dateileiche ausgegangen und überschrieben.

 

[zupipo]

Wenn ich ein Videolink von youtube einfüge kommt immer nur die Fehlermeldung "Kann Downloadlink nicht ermitteln". Was mache ich falsch?

 

[nbox]

sagt mal, wird bei euch der mediaserver automatisch aktualisiert/indexiert oder müsst ihr das neuerding ebenfalls manuell machen?

in der beschreibung der box (siehe hier ganz unten der hinweis: http://service.avm.de/support/de/SKB/FRITZ-Box-7270/274:FRITZ-Box-Mediaserver-einrichten) steht, dass sich die inhalte nur dann indexieren, wenn man über nas medienfiles geändert hat, oder in der fritz.box config (heimnetz > speicher (nas)) auf "nicht erstellt/ist erstellt" klickt - oder die box neustartet...

habe die 7270v2 (hdd mit ext2) mit aktueller fw und f!L build und das habe ich erst, seit ich auf die neue fw und f!L umgestellt habe. vorher musste ich den medienserver index nie manuell neu erstellen. sendet load nicht (mehr) diesen javascript befehl, damit sich der index aktualisiert?

 

[Lolmir]

Hallo,

bekomme weiterhin oft folgenden Fehler:

Content-Type mismatched: received ()

Hoster: Netload

Das mit dem Log löschen und andere Instanz hab ich versucht, aber bisher hat es nie geholfen.
Irgendwer eine Idee?

Gruß
Lolmir

 

[Yodafrosch]

Hallo Lolmir,

eröffne am besten ein Ticket nach folgender Vorgehensweise: F!L-Wiki.
Debug-Log wäre wichtig wenn NL wieder spinnt. Das Log dann "anonymisieren" lassen, bevor du es hochlädst. Ich hatte heute nacht dasselbe Problem bei SO und ein ähnliches bei MU - nun funktionieren sie aber und ich kann kein Fehler-Log erstellen. -.- Leider habe ich nun auch nicht mehr soviel Zeit wie zwischen den Jahren.

@zupipo
Gar nichts^^ - youtube funktioniert im Moment nicht über F!L. Im Zweifel auch ein Ticket aufmachen. Falls jemand Ahnung und Zeit hat, wird er/sie es sich ansehn.

@nbox
Das ist kein Fehler von F!L sondern der 05er-Firmware von AVM. In der aktuellen Laborversion scheint es nun besser zu funktionieren. Siehe hier und folgende Seiten.

@all
Falls jemand möchte, kann man bei MegaUpload die Resumefunktion nutzen, da dies ja auch für FreeUser geht. Dazu einfach in der megaupload_com.sh Zeile 102 folgendermaßen ändern:

#   		if download "$url" "$filename" "--cookie $c" "" "" "f";then
   		if download "$url" "$filename" "--cookie $c -C -" "" "" "f";then

Test mit ausgeschaltetem Parallel DL Check war bei mir erfolgreich.

 

[rolex0815]

Falls jemand möchte, kann man bei MegaUpload die Resumefunktion nutzen, da dies ja auch für FreeUser geht.

Denke nicht, das da was dagegen spricht? Ich trage es ein.

Test mit ausgeschaltetem Parallel DL Check war bei mir erfolgreich.

Daraus lese ich, dass es mit eingeschaltetem nicht erfolgreich war? Bei mir funktioniert's gut.