Fritz!Load - (Oneclickhoster-) Down- und Uploads via FB

koepie · 9 Sep 2007

Fritz!Load ist eine Software, die automatisiert Dateien von bzw. zu Sharehostern herunter- und hochladen kann und diese auf einem gemounteten Medium (z.B. USB-Stick) ablegt.

Neben diesem umfangreichen Thread hier haben wir eine Projektseite. Dort findet man:
- eine Installationsanleitung: http://sourceforge.net/apps/trac/avmload/wiki/FritzLoadInstallation
- die aktuelle Version zum Installieren: http://sourceforge.net/projects/avmload/files/
- eine Hilfeseite/Wiki: http://sourceforge.net/apps/trac/avmload/
- Antworten auf die häufigsten Fragen (FAQ): http://sourceforge.net/apps/trac/avmload/wiki/FritzLoadFAQ

Wie sollten Fehler gemeldet werden?

Falls Ihr einen Fehler entdeckt, bitten wir euch diesen zu melden.
Davor aber bitte:
- Die FAQ lesen (http://sourceforge.net/apps/trac/avmload/wiki/FritzLoadFAQ)
- Prüfen ob der Fehler bereits gemeldet wurde: http://sourceforge.net/apps/trac/avmload/report/1
- Und benutzt bitte unbedingt VORHER die Suchfunktion in diesem Thread: http://www.ip-phone-forum.de/showthread.php?t=147334&nojs=1#goto_threadsearch. Da der Thread inzwischen über 200 Seiten lang ist, ist es recht wahrscheinlich das das Problem schonmal behandelt wurde.
- Falls Ihr nicht sicher seid, ob evenutell nur eine fehlerhafte Konfiguration an dem Problem Schuld ist, könnt ihr natürlich den Fehler zuerst hier im Forum diskutieren.

Falls nichts zutrifft, bitte den Fehler über das Trac System: http://sourceforge.net/apps/trac/avmload/newticket melden.

Um etwaige Problemen schneller verifizieren zu können sind passende Debugmeldungen hilfreich. Dazu zuerst einmal die alte Logdatei leeren (Im Menü Download oder Upload und dann auf LogDatei + Logdatei leeren). Anschließend den Haken bei Debug (auf der rechten Seiten unter "Start" - "Stop" - "Kill") setzen und den Download/Upload nochmals starten. Es werden nun alle Programmabläufe protokolliert...
Die Logmeldungen an die von euch erstellte Meldung (Ticket) im Trac System anhängen

Und nun wünscht euch das Entwicklungs-Team viel Freude mit Fritz!Load

--- ursprünglicher Beitrag ---
Hi

Ich habe ein quelloffenens programm gefunden welches es erlaubt rapidshare files automatisch runter zu laden?

Gibt es eine Möglichkeit dieses Programm auf der FB laufen zu lassen?

http://board.gulli.com/thread/76981...ownloader--last-update-180607neue-db----v025/

Jetzt noch eine zweite Frage...

wie kann ich wget weiter laufen lassen ohne dabei immer das consolen Fenster offen lassen zu müssen...

Bei manchen downlaods zeigt mir wget folgende Fehlermeldung an

Code:

wget: ftp error: Failure writing network stream.

koepie · 10 Sep 2007

kann mir da keiner weiterhelfen?=!

opd · 11 Sep 2007

theoretisch müsste es schon gehen. Allerdings bräuchte man dafür perl, und das gibts nicht für die box (oder irre ich mich da?). Im Prinzip müsste man die box nur dazu bringen via OCR die Captchas zu entschlüsseln, der Rest ist ja recht trivial und sollte hin zu bekommen sein...

Auf jeden Fall eine nette Idee!

u.g · 11 Sep 2007

opd schrieb:
Allerdings bräuchte man dafür perl, und das gibts nicht für die box (oder irre ich mich da?).

Du irrst dich: microperl 5.8.8 auf der Fritz!Box

opd · 11 Sep 2007

... dann müsste es ja eigentlich gehen.
@koepie: am einfachsten geht das über screen, denke ich.

Chatty · 11 Sep 2007

u.g schrieb:
Du irrst dich: microperl 5.8.8 auf der Fritz!Box

Damit ist aber immer noch der OCR-Teil nicht gelöst. Je nach Methode ist das auch ziemlich rechenaufwendig/speicherintensiv --> spricht leider alles gegen die Fritz!Box

opd · 11 Sep 2007

mhhh... ich denke einen Versuch währe es wert. Möglicherweise klappt das ja mit gocr oder ocrad.

koepie · 12 Sep 2007

wer kennt scih denn im forum damit aus das ding einzubinden?

GuruHacker · 16 Sep 2007

Chatty schrieb:
Damit ist aber immer noch der OCR-Teil nicht gelöst. Je nach Methode ist das auch ziemlich rechenaufwendig/speicherintensiv --> spricht leider alles gegen die Fritz!Box

Nein! Die 7170 hat 211MHz das reicht völlig aus. Die Grafiken zu entschlüsseln ist nicht ein Großes problem, aber einen Decoder zu Programmieren wird schwierig sein.

Azeroth · 30 Okt 2007

mich würde dsa auch interessieren. Könnte sich eventuell ein netter Mensch mit Programmierkentnissen ranwagen`das währe cht geil! danke!

shadow000 · 30 Okt 2007

grundsätzliche frage: was bringt das?
rapidshare sperrt ja auf ip-basis
da hilft es doch auch nicht viel wenn man den download von der box erledigen lässt.

Chatty · 30 Okt 2007

Das ist doch wohl klar: Festplatte an FB hängen und sie erledigt ständiger Wiederholung ohne dass ein PC an sein muss:

1. Download & abspeichern
2. Reconnect (somit neue IP)

Acros · 31 Okt 2007

Hi!

Ich hab mal Anticaptcha für die Fritzbox kompiliert, funktioniert auch soweit:

Code:

# ./anticaptcha access4198420.jpg --method 24.10.2007
IK34

Die Erkennung braucht < 1 Sekunde...
Tuxload läuft aber nicht unter Microperl, es fehlen wohl einige Module:

Code:

# ../perl/microperl -I/var/media/ftp/FlashDisk-Partition-0-0/perl/lib ./tuxload.pl
Can't locate Filter/Util/Call.pm in @INC (@INC contains: /var/media/ftp/FlashDisk-Partition-0-0/perl/lib /usr/local/lib/perl5/5.9 .) at /var/media/ftp/FlashDisk-Partition-0-0/perl/lib/Switch.pm line 11.
BEGIN failed--compilation aborted at /var/media/ftp/FlashDisk-Partition-0-0/perl/lib/Switch.pm line 11.
Compilation failed in require at ./tuxload.pl line 28.
BEGIN failed--compilation aborted at ./tuxload.pl line 28.

Ich kenn mich mit Perl nicht so aus, vielleicht versucht sich da mal jemand dran...
Im Anhang ist das Binary mit aktuellem Methodenfile.
Die Sourcen von Anticaptcha findet ihr hier.
Wenn Rapidshare das Captcha ändert sollte hier nen neues Methodenfile zu finden sein...

Chatty · 31 Okt 2007

Ich wusste gar nicht, dass der Source zu AC verfügbar ist. Und Perl kann ich (u.a.) auch.

Dass es nicht länger als eine Sekunde dauert (zum Glück), liegt vermutlich daran, dass AC nicht mit professionellen OCR-Algorithmen arbeitet, sondern mehr oder weniger feste Schablonen der verwendeten Buchstaben benötigt. Insofern lässt es sich also schlecht für bessere Captchas gebrauchen. Aber Rapidshare ist ja schon mal ein großer Hoster.

Acros · 1 Nov 2007

Nabend!

Ich hab nen sehr rudimentäres Shell-Script zum Download von Rapidshare.com (um)geschrieben:

Code:

#!/bin/ash
./curl "-#" $1 >getfile.txt
filename=$(echo $1 | sed -e 's/^.*\/files\/[0-9]*\/\(.*\)$/\1/' -e 's/\(.*\)\.html$/\1/')
url=$(grep /files/ getfile.txt | grep http://rs | sed -e 's/^.*"\(http:\/\/rs[^"]*\)".*$/\1/')
./curl "-#" -d 'dl.start=free' $url >getcap.txt
echo -e "$(grep unescape getcap.txt|sed -e 's=^.*('\''==;s='\'').*$==;y/+/ /;s/%/\\x/g')">form.txt
url=$(cat form.txt| sed -e 's/^.*"\(http:\/\/rs[^"]*\.jpg\)".*$/\1/')
sleep 155 
./curl "-#" $url >captcha.jpg
url=$(cat form.txt| sed -e 's/<br>/\n/g'| grep 'document.dl.action' | grep 'l3.rapidshare' | sed -e "s/^.*action='\\(http:\\/\\/rs[^']*\\).*$/\\1/")
code=$(./anticaptcha captcha.jpg --method "24.10.2007")
rm -f getfile.txt getcap.txt form.txt captcha.jpg
./curl "-#" -d "mirror=on&accesscode=$code&actionstring=Download+from+Level%283%29" $url >$filename

Man braucht noch Curl (hier) und das Anticaptcha von weiter oben im selben Verzeichnis.
Aufruf dann per ./download.sh rapidshare-url (wenn ihr das Script so nennt).
Download ist immer von Level3, es wird immer 155 Sekunden gewartet und es kann jeweils nur eine Datei runtergeladen werden.
Die Ausgabe sieht dann so aus wenns fertig runtergeladen ist:

Code:

# ./download.sh http://rapidshare.com/files/[...].rar
######################################################################## 100.0%
######################################################################## 100.0%
######################################################################## 100.0%
######################################################################## 100.0%

Über USB ist es dann natürlich Maximal 1Mbit oder weniger wegen dem USB1 an der Box, hier bräuchte man nen NAS für mehr speed...

So, Viel Spaß!
Acros

Chatty · 1 Nov 2007

Schön, dann hast du ja alles fertig gemacht. Danke.

Man könnte jetzt noch auf wget der Busybox wechseln, falls da auch POST-Requests möglich sind.

[EDIT] Oder man nimmt dieses dynamisch gelinkte wget - nur 22kb!
[EDIT2] Oder ganz hart per BusyBox nc *fg*

Acros schrieb:
Über USB ist es dann natürlich Maximal 1Mbit oder weniger wegen dem USB1 an der Box, hier bräuchte man nen NAS für mehr speed...

USB1.1 hat übrigens 12MBit/s brutto... was auf knapp 1,1 MByte/s netto hinausläuft. Damit könnte man bei maximaler DSL-Geschwindigkeit nicht ganz live wegschreiben. Im wahren Leben also geradeso noch ausreichend.

Acros · 1 Nov 2007

so, ich habs nochmal etwas überarbeitet, im Anhang ist ein Komplettpaket...
Es können jetzt auch Dateilisten heruntergeladen werden mit ./listload.sh <liste>, dann auch mit automatischem Reconnect. Die Wartezeit wird jetzt auch korrekt erkannt. Einfach alles in ein Verzeichnis entpacken und von dort aus ausführen...
Was noch fehlt ist jegliche Fehlererkennung wie Datei nicht vorhanden, Wartezeit für IP oder was Rapidshare sonst noch so ausspuckt...

Chatty schrieb:
[EDIT] Oder man nimmt dieses dynamisch gelinkte wget - nur 22kb!
[EDIT2] Oder ganz hart per BusyBox nc *fg*

Das wget dort ist leider auch nur das busybox-wget ohne post, aber ich hab selbst eins dynamisch gelinkt, hat immerhin nur 330k. ~~Nc hat meine busybox nicht...~~ EDIT: Ist nur kein link zu da, scheint mir aber etwas mühsam zu sein. Wenn ich Zeit hab versuch ichs mal, evtl bekommt man dann ja nen höheren Speed...

Chatty schrieb:
USB1.1 hat übrigens 12MBit/s brutto... was auf knapp 1,1 MByte/s netto hinausläuft. Damit könnte man bei maximaler DSL-Geschwindigkeit nicht ganz live wegschreiben. Im wahren Leben also geradeso noch ausreichend.

Ja, du hast natürlich recht... Die Fritzbox schafft bei mir allerdings nur ca. 350KB/s, ich weiss nicht genau worans liegt. Die CPU-Belastung schwankt aber beim Runterladen auch so zwischen 80% und 100%, vielleicht ist das der Flaschenhals, wobei ich nicht weiss was da soviel Rechenleistung braucht. Ich hab schon wget auf rudimentäre Fortschrittsanzeige umgestellt, vorher wars noch schlimmer...

gruenebe · 3 Nov 2007

Hallo Acros,
klingt ja echt interessant die Lösung.

Leider läuft es bei mir nicht wie gewünscht.
Als erstes die Frage, wie muß die Liste bei ./listload.sh aussehen? Einfach die URL's mit Blank getrennt fortlaufend?

Habe es erstmal mit einem File und ./download getestet.
Deinen Anhang (rs_downloader.tar.gz) auf USB-Stick entpackt und ran an die FB7170.
In der Shell dann folgendes eingegeben:
./download.sh http://rs121.rapidshare.com/files/27632673/Knoppix520SEg.part01.rar

Das Resultat sieht so aus:

# ./download.sh http://rs121.rapidshare.com/files/27632673/Knoppix520SEg.part01.
rar
Vorbereiten des Downloads von http://rs121.rapidshare.com/files/27632673/Knoppix
520SEg.part01.rar
18:36:23 URL:http://rs121.rapidshare.com/files/27632673/Knoppix520SEg.part01.rar
[5834/5834] -> "getfile.txt" [1]
18:36:23 URL:http://rs121.rapidshare.com/files/27632673/Knoppix520SEg.part01.rar
[19674/19674] -> "getcap.txt" [1]
Warte 145 Sekunden auf Download-Ticket
18:38:49 URL:http://rs121.rapidshare.com/access2366192.jpg [2688/2688] -> "captc
ha.jpg" [1]
./anticaptcha: can't resolve symbol '__fpcmp_parts_f'
Lade Knoppix520SEg.part01.rar herunter. Accesscode:
--18:38:50-- http://rs121l3.rapidshare.com/files/27632673/2366192/Knoppix520SEg
.part01.rar
=> `Knoppix520SEg.part01.rar'
Resolving rs121l3.rapidshare.com... 195.122.131.122
Connecting to rs121l3.rapidshare.com|195.122.131.122|:80... connected.
HTTP request sent, awaiting response... 404 Not Found
18:38:50 ERROR 404: Not Found.

Muß ich neben Deinem tar.gz-File nochwas anderes ins Verzeichnis kopieren?
Woran kann es noch liegen, daß der Download nicht funktioniert?

Wohin schreibt das Tool eigentlich die Files? Gerade wenn es größere Files sind, wäre es hilfreich, diese z.B. auf ein NAS-Laufwerk zu schieben. Ist das möglich und wie?

Gruß

Acros · 3 Nov 2007

Hallo!

gruenebe schrieb:
Als erstes die Frage, wie muß die Liste bei ./listload.sh aussehen? Einfach die URL's mit Blank getrennt fortlaufend?

In jeder Zeile eine Url

gruenebe schrieb:
In der Shell dann folgendes eingegeben:
./download.sh http://rs121.rapidshare.com/files/27632673/Knoppix520SEg.part01.rar

Das Resultat sieht so aus:
[...]
./anticaptcha: can't resolve symbol '__fpcmp_parts_f'
[...]
Muß ich neben Deinem tar.gz-File nochwas anderes ins Verzeichnis kopieren?
Woran kann es noch liegen, daß der Download nicht funktioniert?

Hmm, du hast eigentlich alles richtig gemacht, die fehlende Funktion ist aus der uclib. Welche Firmware-Version hast du denn auf der Fritzbox? Bei mir hab ich die USB-Labor drauf da läuft es problemlos...

gruenebe schrieb:
Wohin schreibt das Tool eigentlich die Files? Gerade wenn es größere Files sind, wäre es hilfreich, diese z.B. auf ein NAS-Laufwerk zu schieben. Ist das möglich und wie?

Die Dateien landen im selben Verzeichnis. Du kannst das aber recht einfach ändern, beim letzten wget in download.sh einfach den Parameter -O <Ausgabeverzeichnis>$filename einfügen (großes O und keine Leerstelle vor $filename)

Gruß Acros

gruenebe · 3 Nov 2007

Acros schrieb:
Hallo!

In jeder Zeile eine Url

D.h. ich schreibe die Zeilen in eine Datei und übergebe die als Parameter.

Acros schrieb:
Hmm, du hast eigentlich alles richtig gemacht, die fehlende Funktion ist aus der uclib. Welche Firmware-Version hast du denn auf der Fritzbox?

Ich hab die aktuelle 'große' Beta drauf - 29.04.44-9163

Fritz!Load - (Oneclickhoster-) Down- und Uploads via FB

Neuer User

Neuer User

Neuer User

Aktives Mitglied

Neuer User

Aktives Mitglied

Neuer User

Neuer User

Mitglied

Neuer User

Mitglied

Aktives Mitglied

Neuer User

Anhänge

Aktives Mitglied

Neuer User

Aktives Mitglied

Neuer User

Anhänge

Neuer User

Neuer User

Neuer User

Statistik des Forums