WebDav und SSL

henfri · 28 Dez 2008

@matze:

Wegen der Umlaute habe ich hier
https://sourceforge.net/forum/forum.php?thread_id=1964605&forum_id=82589
etwas an den Entwickler geschrieben. (mein Teil startet am 2008-12-01 18:34)

Interessant ist das hier:

I can mount that with a dedicated Software that creates a drive letter in my WindowsExplorer, or I can use webdav.
If I use davfs to copy files to that storage, it works fine. But if i do a directory listing (from the same enviroment I uploaded the files with), i see that the german "umlaute" are messed up. Interestingly (and this I didn't know by the time of my last post), if open up the drive in my Windows Explorer (with the software mentioned above), everything, including the special characters (umlaute) are fine!

So, apparently this is only a problem reading the content of the storage and not a write problem.

Leider habe ich momentan keinen Zugriff auf meine Box und kann deshalb folgende Fragen nicht beantworten:

1) Default Character Set Encoding der FritzBox
2) Directory Listing eines problematischen Ordners
3) Ich habe die betreffenden Dateien von Windows aus per Samba erstellt. Wenn ich per Windows auf den WebDav zugreife ist alles OK. Die Frage ist, wie es bei Dateien aussieht, die direkt mit der FritzBox ohne Windowsbeteiligung erstellt wurden.
4) Mitschnitt des Netzwerk Traffic mit Sniffer.

Kannst du bei einigen der Fragen weiterhelfen?

Gruß,
Hendrik

matze1985 · 29 Dez 2008

hey, sorry war nicht zu Hause.
1) weis nicht genau, es war nicht utf8, ich schaue gleich nochmal, ob ich es finde, da war mal ne diskusion drüber

2&3)

Code:

/var/media/ftp/gmx # ll
drwxr-xr-x   10 root     root          220 Dec 29 21:56 .
drwxr-xr-x    6 ftpuser  root            0 Dec 29 21:50 ..
drwxr-xr-x    2 root     root           36 Dec 14  2005 GelÃ¶schte Dateien
drwxr-xr-x    2 root     root           36 Jan 17  2006 Meine Bilder
drwxr-xr-x    2 root     root          128 Dec 29 21:55 Meine Dokumente
drwxr-xr-x    2 root     root           36 Feb 10  2006 Meine Musikdateien
drwxr-xr-x    2 root     root           36 Dec 14  2005 Neue Dateianlagen
drwxr-xr-x    2 root     root           76 Dec 29 21:55 Sonstige Dateien
drwxr-xr-x    2 root     root          248 Dec 29 21:55 Wget
drwx------    2 root     root           36 Dec 29 21:54 lost+found
/var/media/ftp/gmx # touch törö
/var/media/ftp/gmx # ll
drwxr-xr-x   10 root     root          252 Dec 29 21:57 .
drwxr-xr-x    6 ftpuser  root            0 Dec 29 21:50 ..
drwxr-xr-x    2 root     root           36 Dec 14  2005 GelÃ¶schte Dateien
drwxr-xr-x    2 root     root           36 Jan 17  2006 Meine Bilder
drwxr-xr-x    2 root     root          128 Dec 29 21:55 Meine Dokumente
drwxr-xr-x    2 root     root           36 Feb 10  2006 Meine Musikdateien
drwxr-xr-x    2 root     root           36 Dec 14  2005 Neue Dateianlagen
drwxr-xr-x    2 root     root           76 Dec 29 21:55 Sonstige Dateien
drwxr-xr-x    2 root     root          248 Dec 29 21:55 Wget
drwx------    2 root     root           36 Dec 29 21:54 lost+found
-rw-r--r--    1 root     root            0 Dec 29 21:57 tÃ¶rÃ¶
-rw-r--r--    1 root     root            0 Dec 29 21:57 törö
/var/media/ftp/gmx # ll
drwxr-xr-x   10 root     root          236 Dec 29 21:57 .
drwxr-xr-x    6 ftpuser  root            0 Dec 29 21:50 ..
drwxr-xr-x    2 root     root           36 Dec 14  2005 GelÃ¶schte Dateien
drwxr-xr-x    2 root     root           36 Jan 17  2006 Meine Bilder
drwxr-xr-x    2 root     root          128 Dec 29 21:55 Meine Dokumente
drwxr-xr-x    2 root     root           36 Feb 10  2006 Meine Musikdateien
drwxr-xr-x    2 root     root           36 Dec 14  2005 Neue Dateianlagen
drwxr-xr-x    2 root     root           76 Dec 29 21:55 Sonstige Dateien
drwxr-xr-x    2 root     root          248 Dec 29 21:55 Wget
drwx------    2 root     root           36 Dec 29 21:54 lost+found
-rw-r--r--    1 root     root            0 Dec 29 21:57 tÃ¶rÃ¶

nachdem die datei törö übertragen wurde (nach paar sek) ist nur noch die unleserliche da, im Mediacenter wird sie richtig angezeigt.

4)öhh, mal schauen.

edit:
müsste ISO-8859-1 sein, siehe hier

RalfFriedl · 30 Dez 2008

Wenn die letzte Datei in Deiner Liste 'törö' heißt, dann ist das mit großer Wahrscheinlichkeit UTF-8 genau wir das 'Gelöschte' darüber. UTF-8 ist die einzig gängige Kodierung, die zwei Bytes für die Umlaute verwendet.

Das bedeutet aber nicht, daß die Box UTF-8 verwendet, sondern daß Dein Client es tut. Die Box speichert die Dateinamen nur transparent ab.

Das 'Gelöschte' stammt vermutlich von Deinem Mediacenter.

Das heißt in iesem Zusammenhang "nachdem die datei törö übertragen wurde"? Wodurch wird die Datei umbenannt/umkopiert?

henfri · 30 Dez 2008

Hallo,

Ich antworte mal (@matze: korregier mich, wenn ich falsch liege):
Matze hat seinen WebDav speicher gemountet: /var/media/ftp/gmx).
Das erste Listing ist der Stand bevor er eine Datei auf diesem Mount erzeugt.
Dann erzeugt er mittels touch törö eine Datei. Diese wird dann von DavFS2 auf den Speicher von gmx übertragen.

Das nächste Listing ist unmittelbar danach. Es existieren zwei Dateien, eine 'fehlerhafte' und eine korrekte.

Das letzte Listing ist einige Sekunden/Minuten später. Es existiert nur noch die 'fehlerhafte' Datei.

Gruß,
Hendrik

henfri · 30 Dez 2008

Hallo,

eine Antwort vom Entwickler:

"-rw-r--r-- 1 root root 0 Dec 29 21:57 tÃ¶rÃ¶
-rw-r--r-- 1 root root 0 Dec 29 21:57 törö "
It seems the server converts characters into utf-8 encoding. "törö" is the file name in local iso-encding and "tÃ¶rÃ¶" is what davfs2 got from the server. (utf-8 encoding of 'ö' is C3B6 which looks like "Ã¶" when interpreted as iso-encoded characters). The dir entry "törö" is probably served fromt he kernel-cache (using coda?). davfs2 removes this entry as soon as it notices that no file with this name exists on the server.

When törö shows up as "tÃ¶rÃ¶" on the FritzBox this shows that the file name is utf-8 encoded, as it should be for Windows. But most probably Samba does code conversion too, interpreting 'C3B6' as two iso-characters and sends the utf-codes for 'Ã' and '¶' instead.

How to proceed:
You need access to the FritzBox.
Turn of the use of property "displayname" (davfs2.conf option "use_displayname o"). This should not change anything but will avaoid possible confusion in the future.
As Samba seems to convert from local iso-encoding to utf-8, davfs2 will have to convert from server's utf-8-encoding to local iso-encoding. Set option "server_charset utf-8" in davfs2.conf.

If this does not help it would be useful to have:
- directory listing done on the FritzBox
- listing of the same directory from the Windows client
- captured HTTP-traffic between FritzBox and the server. A PROPFIND-request for this directory and the response from the server would be the best.

Looking at http://www.ip-phone-forum.de/showthread.php?t=179968&page=2: FritzBox seems to use its very special way to configure davfs2. Have you got any documentation about this?

Kann das jemand bitte einmal ausprobieren? (Habe wie gesagt momentan keinen Zugriff)

Gruß,
Hendrik

matze1985 · 30 Dez 2008

das hat leider auch nicht geholfen:

Code:

/var/media/ftp # umount gmx
/var/media/ftp # nano /var/davfs2/davfs2_2.conf
/var/media/ftp # cat /var/davfs2/davfs2_2.conf
secrets /var/davfs2/secrets_2
servercert /var/tmp/flash/davfs_servercrt2.pem
use_displayname 0
server_charset utf-8
/var/media/ftp # mount.davfs https://mediacenter.gmx.net/ /var/media/ftp/gmx -o conf=/var/davfs2/davfs2_2.conf
can't open fuse device
trying coda kernel file system
coda device opened successfully
modprobe: module fuse not found
modprobe: failed to load module fuse: No such file or directory
/var/media/ftp # cd gmx
/var/media/ftp/gmx # ll
drwxr-xr-x   10 root     root          236 Dec 30 19:47 .
drwxr-xr-x    6 ftpuser  root            0 Dec 30 19:46 ..
drwxr-xr-x    2 root     root           36 Dec 14  2005 GelÃ¶schte Dateien
drwxr-xr-x    2 root     root           36 Jan 17  2006 Meine Bilder
drwxr-xr-x    2 root     root          128 Dec 30 19:47 Meine Dokumente
drwxr-xr-x    2 root     root           36 Feb 10  2006 Meine Musikdateien
drwxr-xr-x    2 root     root           36 Dec 14  2005 Neue Dateianlagen
drwxr-xr-x    2 root     root           76 Dec 30 19:47 Sonstige Dateien
drwxr-xr-x    2 root     root          248 Dec 30 19:47 Wget
drwx------    2 root     root          676 Dec 30 19:46 lost+found
-rw-r--r--    1 root     root            0 Dec 29 21:57 tÃ¶rÃ¶
/var/media/ftp #

Vielleicht kann das ja nochmal jemand ausprobieren.

PS: warum erhalte ich eigentlich die meldung über das fuse-module? Ist das wichtig, muss ich das auswählen? Der Mount ist immer da?

PPS: henfri du hattest mit deiner Interpretation recht.

henfri · 30 Dez 2008

Hallo,

hast nochmal probiert eine neue Datei zu erstellen?

Gruß,
Hendrik

matze1985 · 30 Dez 2008

gleiches spiel.

matze1985 · 23 Jan 2009

hey Henfri,

ich arbeiten im Moment viel nativ unterl Linux und hatte heute mal den Webdav-Mount auf der FB. Als ich mich mit dem terminal verbunden habe und als Zufall mal wieder in das webdav-Verzeichnis geschaut habe, ist mit aufgefallen, dass ich eine Datei "törö" sah.
Die Datei uns unseren vorherigen Tests. Dann habe ich auch mal eine neue Datei erstellt, alles so wie es sein soll.

Dann habe ich mal mit Putty(unter Wine) getestet. Siehe da "tÃ¶rÃ¶". Dann habe ich mal in Putty das Encoding (Einstellungen -> Windows -> Translation) auf UTF-8 gestellt und siehe da "törö".

Das normale Charakterset der Box ist iso (welches genau weiß ich nicht), der Server ist in uft-8.
Wie es schein macht die Box die Übersetzten zwischen UTF-8 vom Server auf local iso nicht korrekt und die Datei bleibt UFT-8-Formatiert.

Fall der Zugriff jetzt über Samba oder so erfolgt, könnte man das vielleicht mit dem entsprechenden Einstellungen umgehen, auf der Box selber ist wohl mal schlecht.

Hat dein Entwickler noch ne Idee gehabt?

zirkon · 23 Jan 2009

@matze1985: Sag mal welches Zertifikat hast du für GMX verwendet? Ich erhalte leider immer

Mounting failed.
Server certificate verification failed: issuer is not trusted

Habe das Zertifikat mit Firefox exportiert...

matze1985 · 24 Jan 2009

Ich bin gerade nur am handy, deshalb nur ne kurze Beschreibung:
du musst auch das root-Zertifikat importieren, wie dass heißt steht, wenn ich mich nicht irre, irgendwo auf seite 1 und ist das gleiche wie bei 1und1.

zirkon · 24 Jan 2009

Danke. Anscheinend hatte ich nur die falsche Reihenfolge. Mit Thawte und danach GMX funktioniert es nun.

kla960 · 27 Jan 2009

hat schon mal einer server_charset iso-8859-1 probiert?

zirkon · 27 Jan 2009

Ja, funktioniert leider auch nicht. So dramatisch ist das Problem GsD nicht, da die Umlaute richtig übertragen werden, auch wenn sie im nach hinein falsch dargestellt werden.

henfri · 1 Feb 2009

Hallo,

ich beobachte hier das problem, dass die Übertragung manchmal einfach anhält.

Ich kopiere eine ganze Menge Dateien per Rsync auf das webdav. Nach einiger Zeit tut sich nix mehr. Mir ist dabei schon mehrmals aufgefallen, dass die Übertragung bei vielfachen von 1024 (z.B. 65536) anhält. Das wird wohl an irgendeiner Blockgröße liegen... Aber hilft das beim Debuggen?

Ein neustart von rsync bringt nix. Erst muss die Verbindung neu gemountet werden.

Kennt ihr das Problem?

Wie könnte ich ein Workaround bauen? Wie lässt sich feststellen, dass sich seit ner ganzen Weile nix tut?

Gruß,
Hendrik

zirkon · 19 Feb 2009

Wie bereits auf Seite 1 erwähnt, werden Umlaute in WebDAV-Ordnern richtig dargestellt, wenn man in der smb.conf unix charset = UTF-8 einträgt. Leider funktioniert es absolut nicht via davfs2 das charset zu verändern oder hat inzwischen jemand eine Lösung gefunden?

henfri · 22 Feb 2009

Hallo,

ich hab leider momentan keine Zeit dazu. Wenn ihr aber den Fehler beheben wollt, empfehle ich an meine Posts von
http://sourceforge.net/forum/forum.php?thread_id=1964605&forum_id=82589
anzuschließen. Der Autor von davfs ist da sehr hilfsbereit. Wenn du ihm seine Fragen beantworten kannst, kann er dir weiterhelfen.

Gruß,
Hendrik

ao · 26 Aug 2009

Hallo,

habe mir inzwischen nochmal die FW mit Freetz neu bauen müssen und dabei für davfs2/webdav nur ZLIB, aber nicht SSL ausgewählt, weil es mit SSL und anderen Paketen in meiner FW Probleme gab.

Wenn ich jetzt das GMX Mediacenter öffne, bekomme ich nur ein Zertifikat von GMX angezeigt, aber keines von Thawte.
Haben die daran etwas geändert?

Jedenfalls funktioniert der webdav-Zugriff, aber ich frage mich auch, wie sicher das ist, da ich ja kein SSL verwende.
Kann mir speziell dazu bitte jemand einen Hinweis geben? Danke!

Silent-Tears · 26 Aug 2009

Du arbeitest da komplett unverschlüsselt, wenn das andere Zertifika nicht abgeglciehn wird. Sicher ist das nur so weit, wie Niemand deine Kommunikation belauscht, denn egal wer kann dort Wrt für Wort mitlesen. Die Komplession per zlib ist dabei einfach irrelevant.

ao · 26 Aug 2009

Ja, das hatte ich mir schon gedacht, aber ist das denn nur dann relevant, wenn ich auf der Box im Verzeichnis "/var/media/webdav/" rumrutsche?
Denn sonst werden doch zwischen Box und Server keine Daten ausgetauscht, oder irre ich mich?
Ich habe den Dienst mal deaktiviert, bis ich das geklärt habe.

WebDav und SSL

Mitglied

Aktives Mitglied

IPPF-Urgestein

Mitglied

Mitglied

Aktives Mitglied

Mitglied

Aktives Mitglied

Aktives Mitglied

Aktives Mitglied

Aktives Mitglied

Aktives Mitglied

Neuer User

Aktives Mitglied

Mitglied

Aktives Mitglied

Mitglied

Aktives Mitglied

IPPF-Promi

Aktives Mitglied

Statistik des Forums