FTP- Auflistung-Problem bei vielen Dateien im Ordner auf Fritzbox

[phoneuser]

Hallo,

ich habe ein Problem mit FTP (egal ob wsftp oder filezilla) beim Anzeigen von sehr vielen Dateien in einem Ordner. In dem Ordner auf der fritzbox sammeln sich täglich etwa 8.000 Dateien (jpg-Bilder). Ich kann mit FTP den Ordner anwählen, bekomme aber keine Auflistung. Ich habe den Passiv-Modus an. Es kommt dann zu einem Timeout! Im Freetz habe ich den vsftpd aktiv und ein "forwarding" auf den Port 21 eingerichtet.

Wenn sich wenige Dateien im Ordner befinden, funktioniert es ohne Probleme.

 

[Feuer-Fritz]

Was heisst: "Ich bekomme keine Auflistung" genau?
Bekommst du gar nichts angezeigt? Haben die Dateinamen Umlaute drin?

 

[olistudent]

Steht denn nichts im Syslog dazu?

Gruß
Oliver

 

[phoneuser]

Nein, keine Umlaute (20110317xxxx.jpg). Im Syslog steht nichts. Es sieht aus, als würde er einfach lange brauchen, weil es so viele Dateien sind...In Filezilla bekommt er nach etwa 20 Sekunden ein Timeout. Mit WSFTP dauert es ewig und nach einigen Minuten breche ich ab...

Das gleiche Verhalten habe ich übrigens auch, wenn ich mich mit dem root-User an der fritbox anmelde und dort ins Verzeichnis wechsle und "ls" oder "ls -l" eingebe...es kommt nichts zurück.

 

[RalfFriedl]

Das spricht dafür, daß es einfach zu lange dauert. Wenn Du schreibst "es kommt nichts zurück", heißt das, das Programm ist beendet, oder Du hast das Programm beendet? Wenn ja, wie lange hast Du gewartet?

Welches Dateisystem verwendest Du?

Führe in dem Verzeichnis mal den Befehl

time ls -l

aus und warte danach mindestens eine Stunde. Es sollten dann die Dateien und die tatsächlich benötigte Zeit angezeigt werden.

 

[olistudent]

Meine 7270 rebootet reproduzierbar, wenn ich ls in einem Verzeichnis mit 8000 Dateien ausführe.

Gruß
Oliver

 

[RalfFriedl]

Wie lange ungefähr dauert es bis zum Reboot, und kannst Du vorher den Speicherverbrauch feststellen?
Kannst Du mal folgenden Befehl ausprobieren?

# strace -ebrk ls -la /
brk(0)                                  = 0x498000
brk(0x499000)                           = 0x499000
brk(0x49a000)                           = 0x49a000
brk(0x49b000)                           = 0x49b000
brk(0x49c000)                           = 0x49c000
brk(0x49d000)                           = 0x49d000
brk(0x49e000)                           = 0x49e000
brk(0x49f000)                           = 0x49f000
brk(0x4a0000)                           = 0x4a0000
brk(0x4a1000)                           = 0x4a1000
brk(0x4a2000)                           = 0x4a2000
brk(0x4a3000)                           = 0x4a3000
brk(0x4a4000)                           = 0x4a4000
brk(0x4a5000)                           = 0x4a5000
brk(0x4a6000)                           = 0x4a6000
brk(0x4a7000)                           = 0x4a7000
brk(0x4a8000)                           = 0x4a8000
brk(0x4a9000)                           = 0x4a9000
brk(0x4aa000)                           = 0x4aa000
brk(0x4ab000)                           = 0x4ab000
brk(0x4ac000)                           = 0x4ac000
brk(0x4ad000)                           = 0x4ad000
brk(0x4ae000)                           = 0x4ae000
brk(0x4af000)                           = 0x4af000
brk(0x4b0000)                           = 0x4b0000
brk(0x4b1000)                           = 0x4b1000
drwxrwxrwx   16 root     root           229 Dec  2 15:09 .
drwxrwxrwx   16 root     root           229 Dec  2 15:09 ..
drwxr-xr-x    2 root     root          1120 Dec  2 15:09 bin
drwxr-xr-x    4 root     root             0 Jan  1  1970 data
drwxr-xr-x    7 root     root             0 Jan  1  2000 dev
drwxr-xr-x   23 root     root          1100 Dec  2 15:09 etc
lrwxrwxrwx    1 root     root            12 Dec  2 15:08 home -> var/mod/home
drwxrwxr-x    3 root     root          4001 Dec  2 15:08 lib
drwxr-xr-x   43 1002     100           4040 Mar 10 22:30 mnt
lrwxrwxrwx    1 root     root             7 Dec  2 15:08 mod -> var/mod
lrwxrwxrwx    1 root     root            19 Dec  2 15:08 nohup.out -> ./var/tmp/nohup.out
drwxr-xr-x    2 root     root             3 Aug 31  2008 oldroot
drwxr-xr-x    2 root     root             3 Dec  2 15:08 opt
dr-xr-xr-x   75 root     root             0 Jan  1  2000 proc
drwxr-xr-x    2 root     root           644 Dec  2 15:09 sbin
drwxrwxr-x    3 root     root            20 Dec  2 15:08 share
drwxr-xr-x    9 root     root             0 Jan  1  2000 sys
lrwxrwxrwx    1 root     root             7 Dec  2 15:08 tmp -> var/tmp
drwxr-xr-x    9 root     root            98 Oct 14 22:49 usr
drwxrwxr-x   15 root     root             0 Mar  4 11:24 var
-rw-r--r--    1 root     root         27136 Dec  2 15:09 var.tar

Wie man sieht, wird für 21 Einträge 25 Mal brk aufgerufen, für jeweils 4kB, also schon mal 100kB nur um die paar Einträge anzuzeigen. Vermutlich benutzt der FTP-Server eine effizientere Implementierung, sonst würde auch da die Box rebooten.

 

[phoneuser]

Ja, ich beende das FTP-Programm nach etwa 5 Minuten.

Die Fritzbox rebootet, wenn soviele Dateien aufgelistet weden sollen???

 

[olistudent]

Anbei die Speicherauslastung während und nach dem strace-Befehl:

root@fritz:/var/media/ftp/uStor01# free
             total         used         free       shared      buffers
Mem:         60636        55284         5352            0          640
-/+ buffers:              54644         5992
Swap:        20208        12320         7888
root@fritz:/var/media/ftp/uStor01# free
             total         used         free       shared      buffers
Mem:         60636        23124        37512            0          684
-/+ buffers:              22440        38196
Swap:        20208         4608        15600

Gruß
Oliver

 

[RalfFriedl]

Heißt das, mit strace gibt es keinen Neustart?
Bei 4kB pro Datei werden bei 8000 Dateien ca. 32MB benötigt. Das paßt damit zusammen, daß nach Beendigung des Programms ca. 32MB frei sind.
Wie lange dauert es denn, die Dateien anzeigen zu lassen?

 

[olistudent]

time ls -l
...
real    0m 24.79s
user    0m 2.78s
sys     0m 3.85s

Mit 20 MB Swap gibt es keinen Neustart.

Gruß
Oliver

 

[RalfFriedl]

Dann ist der Timeout von 20 Sekunden ja nur ein wenig zu kurz.

 

[phoneuser]

Die 20 Sekunden kommen von Filezilla! Ich habe einfach die aktuellste Version aus dem Netz genommen.

 

[RalfFriedl]

Unabhängig davon, woher der Timeout kommt, er ist zu kurz, wenn auch nur knapp.

Vielleicht gibt es irgendwo eine Einstellung für den Timeout.

 

[colonia27]

alt aber villeicht hilfts, dafür is google ja da ;-)
http://www.klamm.de/forum/f68/filezilla-timeout-169714.html

 

[phoneuser]

Danke @colonia27 (viva colonia !)

Verstehe ich das richtig, dass es einfach zu viele Dateien sind und ich nichts anderes machen kann als zu warten??

Umso wichtiger ist es dann für mich, dass mein zweiter Thread im Forum bzgl. ffmpeg gelöst wird, weil sonst im Filesystem massenhaft Dateien liegen und kaum handlebar sind!!

 

[RalfFriedl]

Wenn Du den Timeout hoch genug setzt, kannst Du auch ein vielfaches der Dateien haben, Du brauchst nur etwas Geduld.

Und ob die Box die richtige Hardware für Video-Kodierung ist, ist sowieso fraglich.

 

[phoneuser]

Ob die Fritzbox dafür geeignet ist, sollte man doch testen oder? Ich kann mir vorstellen, dass es auch andere Leute interessiert...

 

[RalfFriedl]

Klar kann man das testen.