Backup-Software für 1&1 Smartdrive gesucht

[HabNeFritzbox]

Extra Software ist nicht nötig

Hab das mal etwas ausprobiert, einfach im Windows ein Netzlaufwerk erstellt auf https://sd2dav.1und1.de/ dann als Benutzername die Dienstepasswort Emailadresse und das dazu selbst festgelegtes Passwort.
Klappte soweit ohne extra Treiber/Software. Für den Upload hat der auch volle DSL Bandbreite ausgenutzt. Im 1&1 DSL gibt es 1TB für 2,99¤/Monat bei anderen Produkten nur die 100 GB für 4,99¤/Monat.

Acronis Backup 2012 will auf dem Netzlaufwerk keine Konfigurationsdatei anlegen für ein Backup, auf dem Netzlaufwerk des NAS schon. Die Dateibeschränkungen habe ich nicht weiter ausprobiert. Frage ist halt wie weit man da mit 1000 Dateien a max. 512MB auskommt.

 

[Aquarius67]

Extra Software nicht nötig ?

Sicher, im Prinzip braucht man keine externe Software.

Allerdings sollte man einige Dinge beachten, die allesamt für mich ein KO- Kriterium waren und ich deshalb mir eine eigene Software geschrieben habe:

- Der WIN Explorer blockiert bei Zugriff bis er das gesamte WEBDAV- Laufwerk komplett gelesen hat. (zumindest unter XP)

- Dieses Netzlaufwerk "cach"- ed die Dateien lokal auf der Platte. Wenn man also auf ein solches Netzwerklaufwerk kopiert, werden erst einmal lokale Kopien gut versteckt auf der Systemplatte abgelegt.

Mal abgesehen, das es ein immenser, sinnloser Platzverbrauch ist, gaukelt einem die Kiste vor, die Dateien seien schon auf dem Netz und damit sicher. Dem ist aber nicht so. Genauso macht es übrigens die FritzBox, allerdings mit ihrer eigenen Platte.

Bei Acronis Trueimage kommt noch hinzu, das der Cache auf der Platte liegt, die man gerade sichern möchte. Also schiesst man sich selbst in Knie.

Also es bleibt schwierig ...

Gruß
Gerd

 

[carzl]

Also ich komme nach ein paar Tagen Produktiveinsatz super mit Deinem Tool klar, Aquarius Nochmal danke für Dein Engagement!! Noch ne rein praktische Frage - weißt Du ob man mit irgendeinem Befehl die Anweisung mitgeben kann, nur Dateien <512MB hochzuladen? Bei mir rödelt die Kiste immer ein paar Stunden, bis sie merkt dass 1und1 irgendsoeinen 1GB-Videoschnipsel nicht abnimmt - das würde ich gerne irgendwie ausschließen ohne mein Dateisystem von Hand danach durchsuchen zu müssen...

 

[Aquarius67]

> nur Dateien <512MB hochzuladen?
Nein,
einen solchen Befehl gibt es nicht.

Kann man natürlich alles nachrüsten, nur wäre das dann sinnvoll ?

Soll das kleine Tool hier die Schnipselei übernehmen oder eine externe Software ? Und wenn Schnipseln, darf dann die Originaldatei bleiben und muss für den Upload ignoriert werden ?
Das sind alles so Fragen, die mir so auf die Schnelle einfallen und nicht mal eben so zu lösen sind.

Die Grundidee des kleinen Programms ist nur der Upload von fertig präparierten Dateien, also < 512MB. Nötiges Splitting sollte jemand anders machen.

Gruß
Gerd

 

[carzl]

Nee es war gar nicht so kompliziert gemeint wie Du es vielleicht verstanden hast ;-) Schon klar dass Dein Tool einfach nur uploaden soll, sehe ich genauso. Nein ich meinte, dass ich in meinem Bilderarchiv eine Menge "Videoschnipsel" habe, also kleine familiäre Filmsequenzen, die bei 720p mal schnell ein paar hundert MB groß sind. Diese kann ich ja aber nur zu 1und1 schaffen, wenn sie max. 512MB groß sind. Was ich meinte ist einfach nur, ob man dem Prog sagen kann dass es einfach nur Files <512MB versucht hochzuladen und größere einfach ignoriert. Sonst rödelt es z.B. paar Stunden an einer 513MB großen Datei und springt dann doch zur nächsten. Nee schnipseln braucht Dein Tool nun wirklich nicht ;-)

 

[Aquarius67]

Ich werde diese Größenbeschränkung in der nächsten Version des Programmes als Option einbauen. Das ist kein großes Problem.

Diese neue Version ist schon recht weit. Ich schätze noch ca. 2 Wochen bis zu einem ersten Test in freier Wildbahn.

neue Features :

• voller Proxy Support für HTTPS hinter Firewalls. z.B. wenn die Firewall HTTPS Zertifikate abfängt und stattdessen eigene Zertifikate weitergibt ( z.B. der "McAfee- WebWasher")
• beliebige remote Root- Verzeichnisse.
• lokales Modifizierungsdatum wird auch als Remote Zeitstempel gesetzt. (nicht mehr das Uploaddatum)
• nur Dateien bis Größe xy werden synchronisiert und hochgeladen (s.o.)

Ganz langfristiges Ziel: Ein Vollsynchronisierer, der dann auch Downloads macht.

Gruß
Gerd

 

[carzl]

Na das klingt ja echt spannend Es wäre wirklich klasse, wenn die Dateibeschränkung auf 512MB eine OPTION wäre - vielleicht gibt es bei anderen Providern ja andere Beschränkungen bzw. benötigt man das Feature gar nicht, wenn man @home auf seine NAS sichert.

Freu mich auf das nächste Release

 

[dummy001]

Hallo Aquarius67!

Wie siehts denn aus mit einer aktualisierten Version?
Ich arbeite mich auch gerade in die Thematik ein und würde gern gleich mit der aktuellsten Version einsteigen!

Gruß
Dummy

 

[Aquarius67]

Ist fertig und bei mir und bei 'carzl' schon produktiv im Einsatz. Wenn du die Software auch erst mal zum Testen haben möchtest, schick mir eben eine 'personal message" (PM) hier übers Board mit deiner email adresse.

Wenn das kleine Stück Software noch eine Woche im Dauertest sauber läuft, werde ich sie hier zusammen mit Quellcode veröffentlichen.
Gruß
Gerd

 

[dummy001]

PM ist raus, schickste mir das Schätzchen rüber?

Danke!

Steffen

 

[Aquarius67]

neue Version des Uploaders

Hi zusammen,
hier wie versprochen eine neue Version des kleinen Uploaders:

Anhang anzeigen webdav-sync.zip
ZIP entpacken und irgendwo hin kopieren.

neue Funktionen:

• Die Zeitstempel werden jetzt vom lokalen Rechner mit auf den WEBDAV- Server übertragen. Allerdings kann der 1&1 Server nur GMT, deshalb musste alles umgerechnet werden. Dateien die bei CEST (Sommerzeit) entstanden sind, erscheinen deshalb um eine Stunde verschoben. Der Windows Explorer zeigt dies nicht direkt an, erst über Eigenschaften.
• Es wird das Änderungsdatum oder die Größe der Datei als Uploadkriterium betrachtet. Lokale Zeiten werden auf Sekunden gerundet da der WEBDAV -Server von 1&1 nur Sekunden als kleinste Zeiteinheit kennt.
• Proxy support für Firewalls, die SSL- Zertifikate abfangen und durch eigene ersetzen (z.B. McAfee WEBWasher)
• beliebiger remote root: Wenn "remote root" nicht vorhanden, wird er angelegt. Also f:\Backups kann auch dem 1&1Server /meine/Dateien/Sicherungen heissen.
• klarere Bezeichnungen der Kommandozeilenoptionen.
• Vorabschätzung wieviel MBs upzuloaden sind und wie lange das dauert.
• optionale Größenbegrenzung von Dateien: Dateien die größer sind als xx MB werden nicht berücksichtigt. Das spart langes uploaden bevor man merkt das der Server diese Dateien sowieso nicht annimmt. (Bei 1&1 z.B. 512MB)

Das Programm beendet sich, wenn beide Seiten synchron sind oder die maximale Anzahl Durchläufe abgearbeitet sind. (-r Option). Am einfachsten hängt man das Programm in die Autostart und dann einfach laufen lassen. Es überlebt auch Standby/Resume. Wichtig ist Schreibberechtigung in dem Directory, in dem das Programm läuft.

Optionen anzeigen wie schon bekannt: java -jar webdav-sync.jar -h

Details: (Groß/kleinschreibung egal. z.B. 'setPW' = 'setpw'

• -s|server <serverURIaddress>, Mandatory, case sensitive (e.g. https://sd2dav.1und1.de)
• -l|local <relLocalPath>, Mandatory, case sensitive, with driveletter, e.g. F:\backups\)
• -r|remote <RemoteRootPath>Optional, remote root path. If omitted, local drive letter is included e.g. F:\\Backups -> /F/Backups"
• -u|uname <username>, Optional,if preset with -setpw option )
• -pw <password>, Optional, if preset with -setpw option), cleartext. Use -SetPw once to avoid cleartext passwords.
• -SetPw <username password> resets username and password encrypted. Once set, omits '-pw' and -u|uname option)
• -P <proxyhostort> Proxy Hostort (Optional)
• -sim simulation only shows what it WOULD do (Optional)
• -D Debug mode produces very noisy output (Optional)
• -log <Filename> Generate log file (Optional)
• -maxsize <xx> Do not consider files larger than xx MB (1MB = 1024 * 1024 (1048576) byte). e.g. '1&1': -maxsize 500 (Optional)
• -r <x> run throughs: How often the sync runs; default 100. (Optional)

Beispiel:

einmalig:

java jar webdav-sync.jar -setpw meinUserName meinPassword​

Dann:

java jar webdav-sync.jar -server https://sd2dav.1und1.de -local f:\Backups -remote /Sicherungen -r 10 -log upload.log -maxsize 500
​

Quellcode lege ich bei, damit jeder sieht, das nix Böses im Code ist. Leider erlaubt das Board zu wenig upload, deshalb müssen wir den Umweg über RS gehen. Link folgt.


Wenn's Fehler oder Fragen gibt die nicht von allgemeinem Interesse sind, schickt mir einfach eine 'personal message' PM, sonst wird dieser Thread zu lang.

Happy Uploading !

Gruß
Gerd

TODOS: eine GUI ist in Arbeit ! Ich nehme das zum Anlass mich etwas mit GWT und SWT zu beschäftigen. Wird aber sicher 2 -3 Monate dauern.

 

[Herr_Cules]

Hallo Aquarius67,

danke für das Programm, ich versuche es auf meinen Synology NAS mit einer arm-CPU mit
Java SE for Embedded 1.7 (http://www.oracle.com/technetwork/java/embedded/downloads/javase/index.html) laufen zu lassen. Ist das denkbar?
Ich bekomme folgende Fehlermeldungen:

DiskStation> jamvm -jar webdav-sync.jar -setpw username passwort
18.03.2012[21:18:59]:[INFO] - webdav-sync from Mon Jan 23 18:44:00 GMT+01:00 2012 starting up.
18.03.2012[21:18:59]:[INFO] - Encrypting username <[email protected]> and Password <passwort> into webdav-sync.properties
javax.crypto.IllegalBlockSizeException: 3 trailing bytes
at gnu.javax.crypto.jce.cipher.CipherAdapter.engineDoFinal(CipherAdapter.java:491)
at gnu.javax.crypto.jce.cipher.CipherAdapter.engineDoFinal(CipherAdapter.java:512)
at javax.crypto.Cipher.doFinal(Cipher.java:530)
at webdavsync.WebDavSync.doIt(WebdavSyncMain.java:279)
at webdavsync.WebdavSyncMain.main(WebdavSyncMain.java:62)
at java.lang.reflect.VMMethod.invoke(Native Method)
at java.lang.reflect.Method.invoke(Method.java:327)
at jamvm.java.lang.JarLauncher.main(JarLauncher.java:50)

und nach

jamvm -jar webdav-sync.jar -server https://sd2dav.1und1.de -local /volume1/public/testverzeichnis/ -remote /Sicherungen -r 10 -log upload.log -maxsize 500 -u username -pw XXXXXXX
18.03.2012[21:21:09]:[INFO] - webdav-sync from Mon Jan 23 18:44:00 GMT+01:00 2012 starting up.
18.03.2012[21:21:15]:[INFO] - Logging into file <upload.log>
18.03.2012[21:21:15]:[INFO] - Considering only files with LESS than 524288000 bytes
18.03.2012[21:21:15]:[INFO] - webdav-sync: Starting run 1 of 10 for syncing </volume1/public/testverzeichnis/> with remote </Sicherungen>
18.03.2012[21:21:15]:[INFO] - Local: No of files + dirs:49, size:114938227 bytes (109 MB) at </volume1/public/testverzeichnis/>
18.03.2012[21:21:17]:[ERROR] - General error:Failure initializing default SSL context
18.03.2012[21:21:17]:[INFO] - Disconnecting ...
18.03.2012[21:21:17]:[INFO] - Waiting 60 secs. before reconnect attempt no. 2.
18.03.2012[21:22:17]:[INFO] - Local: No of files + dirs:49, size:114938227 bytes (109 MB) at </volume1/public/testverzeichnis/>
18.03.2012[21:22:17]:[ERROR] - General error:Failure initializing default SSL context
18.03.2012[21:22:17]:[INFO] - Disconnecting ...
18.03.2012[21:22:17]:[INFO] - Waiting 60 secs. before reconnect attempt no. 1.

Kannst Du mir bitte sagen, was da schief läuft?

Danke, Cules.

 

[Aquarius67]

Zwei Probleme:
1. JAVA 1.7: habe ich noch nicht getestet. Entwickelt und getestet wurde das Programm unter 1.6
2. JAVA Embedded SE : Das gleiche. Denkbar ist das die Crypto Libs unter "JAVA Embedded" nicht vorhanden sind oder andere Libs eingebunden sind.

Schick mir mal eine PM damit wir mit dem Rest nicht den Thread hijacken.
Noch ein Tipp: In dem o.a Zitat steht eine/Username /Password Kombination im Klartext . Editier das mal schnell und/oder ändere diese Kombination


Gruß
Gerd

 

[Babbaaa]

Herzlichen Dank für die konsequente Entwicklung und Freigabe des Tools ...

 

[Aquarius67]

> Herzlichen Dank für die konsequente Entwicklung und Freigabe des Tools ...
Danke,
das Tool wird im Untergrund weiterentwickelt, so wie ich Zeit und Nerven habe. <OT>Meine armen Nerven werden
durch eine juristische Auseinandersetzung etwas strapaziert, da ich in eine Abmahnfalle getappt bin.) </OT>

Das Tool wurde dahingehend erweitert, das es Änderungen in den zu sychronisierenden Directories sofort erkennt
und einen Sychronisierungslauf startet. Das ist ein neues Feature in JAVA7. Nach einer Woche Probelauf würde ich
es nächste Woche hier hochladen.

Weiterhin arbeite ich an einer Version für SYNOLOGY NAS Systeme. Da gibt es allerdings noch Probleme
mit den Zeichensätzen auf dem NAS LINUX. Ist das auch hier für jemand interesant ?

Gruß
Gerd

 

[coolhot]

Da ich eine Synology DS109 habe ist es für mich interessant. Und ich denke da bin ich nicht der einzige. Post doch mal hier. Thread1, Thread2

 

[samydeluxe]

hallo,

gibts schon ein update für das super tool? gibt ja noch keine richtige alternativen.

 

[samydeluxe]

hallo Aquarius, anscheinend ist dein Skript jetzt auf Sourceforge gelandet: http://www.re.be/webdav_sync/index.xhtml

 

[Freizeit]

Hallo Aquarius,

ich bin neu hier und habe mit Deinem Programm genau das gefunden was ich suche. Nur leider funktioniert es bei mir nicht. Möglicherweise gibt es schon neuere Versionen ie in diesem Thread nicht enthalten sind.

Sowohl beim Passwort setzen als auch beim auführen des Programms kommt der Fehler:
Fehler: Hauptklasse jar konnte nicht gefunden oder geladen werden

Das Passwort versuche ich so zu setzen:
java jar webdav-sync.jar -setpw "[email protected]" "Mein Passwort"

und das Programm versuche ich so zu starten:
java jar webdav-sync.jar -server https://sd2dav.1und1.de -local D:\backupTest -remote /_User/Markus/S -r 10 -log upload.log -maxsize 500

Ich benutze Java Version 8 Update 131 unter Windows10

Könntest Du mir helfen?
Vielen Dank schon mal im Voraus!

Viele Grüße
Markus

 

[Aquarius67]

neue Version vorhanden

Das Programm ist (erheblich) weiterentwickelt worden und bei GitHub zu finden unter https://github.com/Gerry33/WebDavSync.
Ich würde empfehlen das Programm von dort zu nehmen. Es ist auch dort ein einfaches JAR zum Download vorhanden.

Das hier mal hochgeladene jar würde ich nicht mehr nehmen.

Diesen Thread kann man ja bei Bedarf als Support nutzen. Bei GITHUB wird üblicherweise nur englisch gesprochen.

Gruß
Ged