davfs2 und temporäres Verzeichnis auf USB Platte

[mecir]

ich versuche davfs2 aus aktuellem Trunk mit temporärem Verzeichnis auf USB-Platte ans laufen zu bekommen (DAVFS2_TMPPATH='/var/media/ftp/uStor01/davfs2'), scheitere aber immer daran, daß entweder der chown nicht funktioniert (Platte mit vfat gemounted wg. FAT32) oder "wrong owner of cache directory" (Platte mit fuseblk wg. NTFS gemounted) ausgegeben wird.

Wenn ich alles brav auf Standard lasse funktioniert alles, was aber nicht Sinn der Sache ist, weil mit DAVFS2_TMPPATH='/var/davfs2/temp' nicht ausreichend Platz vorhanden ist.

Hat das schon mal jemand hinbekommen und wenn ja, wie?

Danke und Gruß,

Mecir

 

[hermann72pb]

@mecir: Und was hindert dich daran dafür eine ext2-Partition anzulegen, wie es unter Linux üblich ist?

MfG

 

[mecir]

Hallo Hermann,

es hindert mich z.B. die Tatsache, dass ich die Platte auch ab und zu unter Windows mounte. Zudem sollte eigentlich rc.davfs2 beizubringen sein, dass bei ntfs und fat32 Filesystemen andere Berechtigungsmodelle als bei den Linuxfilesystemen existieren. Leider kriege ich das nicht selber hin, deshalb frage ich.

Gruß

Mecir

 

[hermann72pb]

Auf der Box läuft nun mal nativ Linux als Betriebssystem und du kannst daran herzlich wenig ändern. Um welche Datengrößen handelt es denn bei dir? Kannst du dir nicht extra für diese Geschichte einen USB-Stick anschaffen, den mit ext2 formatieren und gut ist es. Es ist sowieso nur Cache, mit den Daten kannst du vermutlich wenig anfangen, wenn du sie so einfach auf deinem Windows-Rechner betreibst.
Für Windows kenne ich wenigstens zwei Möglichkeiten ext2 zum Laufen zu bringen, eine davon kann sogar angeblich ext3, scheint aber gewisse Schönheitsfehler bezüglich Win7 zu haben (Berechtigungen, läuft aber grundsätzlich). D.h. wenn du mal die Platte ab und zu mal auf Windows hast, wäre es eine Lösung für dich evtl.
Wenn du dennoch so neugirig bist und dennoch eine Lösung anstrebst wie du beschrieben hast, würde ich dir anraten die davfs-Lösung von AVM anzuschauen. Wenigstens im 1und1-Branding gibt es einen so genannten 1und1-Onlinespeicher. Im Grunde ist es nichts anderes als davfs, nur halt auf AVM-Art. Ich weiß ganz genau, dass AVM für ihren Onlinespeicher auch FAT als Cache zulässt und es scheint (ich würde nicht meine Hand ins Feuer legen, es scheint mir aber so) als ob es trotz unserem FREETZMOUNT und sonstiger Patches noch geht. Warum ich an der Stelle FREETZMOUNT und unsere Patches anspreche? AVM arbeitet da an einigen Stellen mit ziemlich schmutzigen Tricks, indem sie einige Medien für alle schreibbar/lesbar mounten diverse chmods ausführen usw. Für ein vernünftiges Dateisystem, wie z.B. ext2 oder ext3 wäre sowas gleich einer Katastrophe. Deswegen versuchen wir an einigen Stellen diese miesen Tricks von AVM abzufangen und wegzunehmen. Wie gesagt, es könnte ja sein, dass gerade das dem davfs von AVM verhilft auf FAT sich Cache anzulegen und damit arbeiten.
Ansonsten, generell was FAT oder NTFS und Rechte unter Linux betrifft. Es gibt erste Bemühungen einiges davon irgendwie anzuwenden. Z.B. werden seit SAMBA 3 Archivbits und einige anderen BIts "durchgeroutet" und mitbehandelt, sodass es ohne die früher verbreiteten Tricks mit dem Mappen auf Linux-Bits funktioniert. Das sind aber nur Anfänge. Du wirst zur Zeit nirgendswo unter Linux z.B. volle Berechtigungen von NTFS behandeln können. FAT ist da sowieso außen vor, weil es überhaupt keine Berechtigungen hat.

MfG

 

[mecir]

Vielen Dank für die ausführlichen Erläuterungen. Etwas mehr Hintergrund zu meinem Anliegen:

Ich habe den von Dir beschriebenen 1TB grossen Onlinespeicher von 1und1 bereits seit einigen Monaten in Betrieb, als Puffer habe ich eine 1TB 2,5" Platte an der Box hängen und hatte mit dem Cache in der Tat nie Probleme solange ich die AVM Lösung (die findet sich übrigens auch im AVM-Branding vorkonfiguriert) benutzt habe. Die Dateien, die ich hochgeladen habe, waren nie größer als 500MB (das geht nicht anders bei dieser Lösung) und inzwischen habe ich bereits einige hundert GB von meinen 1000 bei 1und1 belegt.

Ausgelöst durch die kostenlosen 25GB der Telekom kam ich auf die Idee, mit davfs2 eben diese sowie noch zwei weitere parallel zu nutzen.

Seit ich davfs2 verwende kann ich Webdav über das AVM Interface nicht mehr konfigurieren (obwohl im Freetz Interface bei der ersten Konfiguration im davfs2 darauf verwiesen wird), das ist aber jetzt nicht das Problem, eventuell habe ich da was verfummelt was sich aber leicht beheben lassen würde indem ich mein altes Image nach recover etc. wieder einspiele.

Für meine Zwecke braucht der Cache für davfs2 keinerlei Berechtigungen bzw. eben deren Beschränkungen, daher suche ich nach einer Lösung, das einfach abzuschalten. Eventuell funktioniert das ja schon wenn ich in rc.davfs2 den chmod und beim mount den uid=ftpuser rauswerfe, das werde ich wohl als nächstes probieren.

Ich hatte den Beitrag nur deshalb verfasst, weil ich mir eigentlich sicher war, dass davfs2 von vielen verwendet wird und daher bereits Erfahrungen mit vfat und fuseblk bestehen würden.

Gruß

Mecir

 

[hermann72pb]

Wenn du das schon länger und aktiv benutzen mags (das machen hier meiner Meinung nach noch wenige), kannst du uns bitte über deine Erfahrungen berichten?
Mich würde z.B. interessieren, wofür denn Cache überhaupt gut ist? Wird da nur die eine Datei gespeichert, die du gerade überträgst, oder musst du zwingend genau so viel Platz haben, wie du draußen benutzt? Dann verstehe ich den Sinn der Sache nicht so richtig, aber das ist eine andere Geschichte. Ich persönlich würde ungerne meine Daten irgendwo draußen liegen lassen, ist aber auch nur meine persönliche Einstellung.
Ist denn AVM-Lösung mit unserem FREETZ-davfs grundsätzlich kompatibel?
Und ich glaube nicht, dass du recovern musst. Schau dir einfach AVM-Sachen genauer an, ob du da wirklich was "zerschossen" hast. Ich bin fest davon überzeugt, dass du mit deinem jetzigen FREETZ 1und1-Onlinespeicher noch zum Laufen bringen könntest. Und wenn es denn so funktioniert, wie du gewohnt bist und wie du willst, dann schaust du bitte, wie AVM ihren Onlinespeicher starten. Vielleicht sind die von dir vorgeschlagenen uid und chmod schon eine Lösung.

MfG

 

[mecir]

Die AVM-Lösung hat recht gut geklappt. Ich habe meine Daten vorher verschlüsselt und in 500MB Paketen auf die über eSATAunter Windows angeschlossene Platte kopiert, z.B. nach /backup, danach habe ich die an die Box gehängt. Dort habe ich mir den mount point vom Webdav rausgesucht und via rsync die Daten kopiert:

rsync -av /var/media/ftp/uStor01/backup/* /var/media/ftp/Online-Speicher/

Die Daten sind dann nicht wirklich direkt dort gelandet sondern zunächst in /var/media/ftp/uStor01/fritz/webdav/cache/. Von dort aus werden sie dann im Hintergrund hochgeladen. Erfolgreich hochgeladene Dateine werden in einem für mich bisher undurchsichtigen Verfahren irgendwann mal gelöscht. Du brauchst also keine 1TB cache um 1TB hochzuladen sondern immer nur soviel, wie Du auf einmal hochladen willst. Da die AVM-Lösung nur recht gut aber nicht super gut funktioniert hatte, habe ich den rsync wiederholt nachdem die Box erfolgreichen Upload gemeldet hatte (steht auf der Startseite). Die eine oder andere wurde dann doch nochmal hochkopiert.

Also grundsätzlich scheint es sich um die gleiche Lösung wie davfs2 zu handeln, ich hatte damals allerdings nie nachgesehen, welche Prozesse im syslog standen, falls ich nochmal zurückgehe werde ich das nachholen.

Falls Du ähnliches versuchen möchtest verlass Dich nicht auf meine Syntax vom rsync, ich habe mein Script leider gelöscht, habe noch irgendwas in Erinnerung. dass man den einen oder anderen Check von rsync abschalten musste, eventuell den auf den Zeitstempel.

 

[hermann72pb]

Womit verschlüsselst du denn unter Windows? Zerstückelt dieses Tool gleich dann die Daten in 500MB-Stücke?
Und den Schritt mit dem Abklemmen der Festplatte habe ich auch nicht ganz nachvollziehen können. Warum kann man es nicht per SAMBA, NFS oder sonstwas machen?
Die Idee an sich ist aber nicht ganz verkehrt. Stehen es denn wirklich bei 1und1 einem 1TB zu Verfügung? Gibt es da Trafikbegrenzung? Ich hatte es immer nur als Zusatzfeature behandelt und nicht wirklich dem ganzen Zeugs getraut, denn für mich war es so ähnlich deren Videothek, die nur dem einzigen Zweck dient, die Kunden abzuzocken und ihre 2-3 Euro pro Film verlangen. Deswegen hatte ich diese Onlinespeicher-Geschichte nicht ernst genommen.

MfG

 

[mecir]

7-zip verschlüsselt und teilt gleichzeitig. Areca Backup kann das auch um nur die komfortableren zu nennen. Ansonsten bietet sich noch ein Truecrpytcontainer an falls sich die Daten nicht oft ändern.

Umgebaut habe ich die Platte weil ich 700GB via eSATA wesentlich schneller als über LAN auf die Platte kriegen konnte (mag an meinem LAN liegen, ist halt so). Bei kleineren Mengen würde ich mir nicht die Mühe machen.

Die 1TB kriegst Du für 3 Euro im Monat, 100GB sind frei. Es gibt Volumenbegrenzungen im Transfer die aber nicht wirklich stören (bei mir sind es zur Zeit 2TB pro Monat)

http://hilfe-center.1und1.de/access..._nutzung_der_leistungen/11_mediacenter/4.html

Gruß

Mecir

 

[mecir]

Seit ich davfs2 verwende kann ich Webdav über das AVM Interface nicht mehr konfigurieren (obwohl im Freetz Interface bei der ersten Konfiguration im davfs2 darauf verwiesen wird),

Habe eben herausgefunden, warum ich diese Problem habe. Bei Auswahl von davfs2 in Freetz wird automatisch AVMs webdav abgewählt, damit ist auch die Konfigurationsmöglichkeit verschwunden, sobald ich davfs2 wieder abwähle und webdav manuell(!) anwähle funzt das wieder.

AVM mountet anders als davfs2:

https://sd2dav.1und1.de/ on /var/media/ftp/Online-Speicher type fuse (rw,nosuid,nodev,user_id=0,group_id=0,allow_other,max_read=69632)

Das Cache-Verzeichnis heisst dort

sd2dav.1und1.de+meine@emailadresse
alle Verzeichnisse gehören root.

Bei davfs2 sieht das so aus:

https://sd2dav.1und1.de/ on /var/media/ftp/Online-Speicher type fuse (rw,nosuid,nodev,user_id=1000,group_id=0,allow_other,max_read=16384)

Das Cache-Verzeichnis heisst

sd2dav.1und1.de+var-media-ftp-Online-Speicher+ftpuser

und gehört davfs2:davfs2

Es ist mir noch immer nicht gelungen, mein temporäres Verzeichnis mit davfs2 auf eine ntfs/fat Platte zu legen, das funktioniert nur mit AVMs webdav.

Vielleicht hat ja jemand eine Idee?

Gruß

Mecir

 

[RalfFriedl]

Dann setze doch mal die user_id auf 0.

 

[hermann72pb]

@mecir: Danke für wertvolle Informationen. Genau das sollte man sehen und vergleichen können, wenn zwei gleiche Sachen unterschiedlich funktionieren. Man muss die Startbedingungen untersuchen.
"allow_ot her" mit Leerzeichen ist aber nur, weil du es abgetippt hast, oder steht es da wirklich so?
Ich würde auch zunächst versuchen FREETZ-davfs mit den gleichen Daten zu füttern, wie AVM und zusehen, dass es funktioniert. Nachher sollte man die Frage klären, ob es denn so wirklich sinnvoll zu starten, wie AVM es tut und ob es nicht andere Alternativen gibts als root.

@Ralf: Heißt das, dass bei uns NTFS/FAT generell so gemounted wird, dass nur root darauf schreiben darf? Dies wäre mir aber neu...

MfG

 

[mecir]

@Hermann: "allow_other" heisst es, stimmt. Da ist bei cut&paste was schiefgegangen
@Ralf: danke für den Tipp, das hatte ich schon probiert, mit diesem Ergebnis:

+ chmod 600 /var/davfs2/secrets_0
+ mkdir /var/media/ftp/Online-Speicher
+ mount -t davfs https://sd2dav.1und1.de/ /var/media/ftp/Online-Speicher -o conf=/var/davfs2/davfs2_0.conf,uid=0
can't change group of directory /var/cache/davfs2: Operation not permitted
mount: mounting https://sd2dav.1und1.de/ on /var/media/ftp/Online-Speicher failed: No such device

Ein chgrp funktioniert nicht im Filesystem der USB-Platte.

Gruß

Mecir

 

[RalfFriedl]

@Ralf: Heißt das, dass bei uns NTFS/FAT generell so gemounted wird, dass nur root darauf schreiben darf?

Man kann beim Mount die Rechte angeben, die man haben will.
Aber es hätte ja sein können, daß speziell davfs nicht nur Schreibrechte haben will, sondern darauf besteht, daß der Eigentümer identisch ist.

 

[fiendie]

Ich hänge mich einfach mal ganz dreist an den Thread.

Ich versuche nun auch seit ein paar Tagen, meinen WebDAV-Server per davfs2 einzubinden.

Mounten kann ich auch, im tmp-Verzeichnis werden auch die richtigen Dateien gelistet, nur zugreifen kann ich auf den Kram nicht...

root@fritz:/var/media/ftp $ mount |grep dav
https://flexo.fiendie.net/webdav/ on /var/media/ftp/WebDAV type fuse (rw,nosuid,nodev,user_id=1000,group_id=1000,allow_other,max_read=16384)

root@fritz:/var/media/ftp $ la 
drwxr-xr-x    3 ftpuser  users          208 Nov 29 16:06 WebDAV

root@fritz:/var/media/ftp $ ls WebDAV/
ls: can't open 'WebDAV/': Input/output error

Das tmp-Verzeichnis liegt auf einer mit ext3 formatierten USB-Platte.
Owner und Group sind davfs2.

Hat jemand eine Idee?


Danke und Gruß
Andreas

 

[chilango79]

Ich hänge mich hier ebenfalls mal heran. Ich hab via Samba das temporäre Verzeichnis auf der USB-Platte (ext2) eingerichtet.
als temp Verzeichnis habe ich
/var/media/ftp/Volume/freetz/davfs2/temp
die USB-Platte ist gemountet als
/*var/*media/*ftp/*Volume
Die Verzeichnisse existieren

Als Meldung kommt bei der Änderung:
can't create cache directory /var/cache/davfs2/

Rechte sind
drwxr-xrwx 28 1001 root 4096 Apr 3 12:49 Volume
bzw das Unterverzeichnis
drwxr-xrwx 3 1001 root 4096 Apr 4 12:44 freetz


stelle ich es zurück auf Standard
/var/davfs2/temp

Läuft davfs2 wieder

Kann mir da jemand helfen?