Fritz!Load - (Oneclickhoster-) Down- und Uploads via FB

[ukvideo]

Weitergedacht kann es aber Vorkommen das eine Fragment.part nach einem Abruch des DL oder Absturz der Box vorhanden bleibt. Diese wird jetzt noch gelöscht/überschrieben.

 

[rolex0815]

Da hast du Recht, wird auf die Frage rauslaufen, was man lieber hat? :fecht:

Man könnte z.B. nachsehen, ob ein File gerade geladen wird und wenn sich die Filegrösse innerhalb einer bestimmten Zeit nicht ändert dann davon ausgehen, dass das File ein Überbleibsel ist.

 

[trek]

@ukvideo und @Yodafrosch
Danke für eure Unterstützung.
Das Ticket #1432 geht in die richtige Richtung. In der Fehlerbeschreibung im Ticket fkt. die Fortschrittsanzeige sporadisch, bei mir
unter Firefox 9.0.1 nie und es werden auch keine Daten zur Size, Received, Average Speed, Current Speed ect. angezeigt, auch nicht nach STRG-F5.
untern Chrome 16.0.912.63 sporadisch mit falschen Werten
und auf einem iPad (Safari mobil) ohne Probleme mit richtigen Werten.
Deinstallation und komplette Neuinstallation von V0.41/REV.:1666 brachte keine Änderung.

 

[MacLeod2001]

Erstmal allen hier noch ein gesundes und erfolgreiches neues Jahr; besonders den Entwicklern, damit es weitergeht

Da auch gleich mal noch die Frage: Gibts ne Chance, dass bei Rapidshare-Upload auch der Chunkupload wieder mit implementiert wird?

 

[Lolmir]

Hallo, ich bekomme häufig folgenden Fehler bei einzelnen Downloads:

netload_in-premium
12:38: Content-Type mismatched: received ()
Download failed ([url]http://netload.in/datei.htm[/url] ; datei.rar)

Die Datei ist online vorhanden und kann runtergeladen werden. Premiumaccount hat kein Limit.

Hab Google und Forensuche genutzt aber nichts gefunden.

Ansonsten kommt auch gern mal der Fehler:

15:04: Download: 2 Failed to initialize. / HTTP-Code:() / HEAD:

 

[Yodafrosch]

4shared sollte nun wieder funktionieren. Bitte testen
Anhang anzeigen fourshared_com.zip

Da hast du Recht, wird auf die Frage rauslaufen, was man lieber hat?

Mir gefällt es derzeit ganz gut, dass die .part-Dateien übrig bleiben, da share-online gerne mal nen Timeout bekommt und ich so nicht alles neu laden muss. Allerdings - und das ist der Knackpunkt im Moment - muss ich dann deine Funktion auskommentieren, damit die Downloadfortsetzung von RS funktioniert, ansonsten geht das im Moment nicht
Mir fällt dazu im Moment auch nichts Schlaues ein, mein Schädel brummt noch vom sed-Tutorial und 4shared als praktische Übung.:blonk: Aber prinzipiell ist es eine gute Sache, dass die .part-Dateien nicht direkt gelöscht werden. So könnte eben F!L einen Download fortsetzen wenn z.B. RS oder Premium-Hoster einen Timeout kassieren. Dazu müsste man dann vermutlich aber die Hoster einteilen in die, die Downloads fortsetzen können (wie sämtliche Premiumhoster + RS und MU (wobei das mit F!L noch nicht geht)) und eben den Rest; gleichzeitig bekommt man so wieder das Problem, dass die .part-Datei als Ladekriterium ausscheidet. Stellt sich eben die Frage nach Aufwand und Nutzen - der Aufwand hierfür ist sicherlich beträchtlich, der Nutzen eher ein kleiner.

@Lolmir
NL-Premium brachte bei mir auch desöfteren Fehler von nicht ladbaren Dateien, obwohl sie über den Browser ladbar waren. Passierte zum Glück nicht oft. Ich teilte die Links immer in Instanz 1 und 2 auf. Ich weiß nicht wie ich auf den Schwachsinn kam, aber ich hab dann eine sich ständig weigernde Datei mal in Instanz 4 laden lassen - und es funktionierte... aus welchem Grund auch immer. Eine Pauschallösung kann ich leider nicht anbieten. Ich fürchte auch, dass die Fehlersuche sich äußerst mühselig gestaltet, sollte sich jemand dessen annehmen.

 

[rolex0815]

Das mit NL und nicht geladenen Premiumlinks in manchen Instanzen kann ich voll und ganz bestätigen. Ebenso das unvorhersehbare Verhalten, wenn man die Instanz ändert und es dann plötzlich geht ...
Manchmal kann man die "failed" Dateien einer anderen Instanz vorwerfen und sie werden geladen, manchmal reicht dann das völlige Löschen aller Logs+Linklisten und manchmal bleibt eben nur der DL über browser, jdownloader et al.

@4shared: Funktioniert!

nur CaptchaTrader bringt treibt mich noch zum Wahnsinn...beim JD geht mein Account nun wieder - bei F!L kommt Invalid User.

Bei Captchatrader haben sich die API Links geändert, bei mir geht wieder alles. Ich check es ein.

 

[ukvideo]

@rolex0815, Yodafrosch

Da hast du Recht, wird auf die Frage rauslaufen, was man lieber hat?...
:fecht:
Mir gefällt es derzeit ganz gut, dass die .part-Dateien übrig bleiben...

Lösung mit Auswahl in der config

Einfügen in der gui_config.cgi ab Zeile 234

	<th><span class=help title="Für parallelen Download verschiedener Hoster erfolgt eine Prüfung ob gleiche Datei schon geladen wird.">Parallel-DL-Check:</span></th>
	    <td><input type="radio" name="checkLoaded" value="0"$( [ "$checkLoaded" = 0 ] && echo "checked")>Aus
        <input type="radio" name="checkLoaded" value="1"$( [ "$checkLoaded" = 1 ] && echo "checked")>Ein</td>
       	</tr>

Einfügen/Ersetzen in download.sh ab Zeile 549

        if alreadyLoaded "$storedir/$filename"; then
			success=1
			return 0
	
	elif [ "$checkLoaded" = 1 ];then
	
	    if
		currentlyLoading "$tempdir/$filename"; then
			success=1
			return 0
	    fi	
	fi

analog in der filesonic_com.sh

Edit: natürlich fileserve_com.sh

 

[rolex0815]

@ukvideo: Ist wahrscheinlich die beste Idee mit der Auswahl. Soll es eingecheckt werden?

Die alreadyLoaded() Aufrufe in den einzelnen Hoster Plugins dienen zur Performance oder gibt's weitere Gründe? Also, dass ich z.B. schon den DL überspringe bevor eine fällige Wartezeit mich bremsen würde, bis es sowieso zum Aufruf der Funktion in download() kommt?

Einen neuen Hoster kann ich auch vorstellen: crocko.com früher easy-share.com
Bitte testen, es funktioniert nämlich nicht immer.

http://sourceforge.net/apps/trac/av...s/experimental_hoster/rolex0815/crocko_com.sh

 

[Lolmir]

Danke Yodafrosch und rolex0815. Das mit den Instanzen ist generell ne feine Sache hatte das unterschätzt. Die Files laden noch immer nicht in den anderen Instanzen aber ich versuch es weiter.

Wäre natürlich schön wenn man das Problem wieso "einfache" direkte Downloads bei Netload teilweise nicht funktionieren bereinigen könnte.

 

[Yodafrosch]

@Lolmir
Auch MU hat ab und an Probleme - ist aber nicht weiter tragisch, am nächsten Tag (oder einem IP-Wechsel) funktioniert es dann. Da F!L die Dateinamen extrahiert erkennt man ja, dass die Dateien ladbar sind, aber aus irgendeinem Grunde klappt es eben manchmal nicht.

06.01.12-03:33; http://www.megaupload.com/?d=XXXBDU47 #XXXd1bxr.part01.rar
06.01.12-03:33; http://www.megaupload.com/?d=XXXS3X59 #XXXd1bxr.part02.rar
06.01.12-03:34; http://www.megaupload.com/?d=XXXX54FS #XXXd1bxr.part03.rar
06.01.12-03:34; http://www.megaupload.com/?d=XXXYJOHA #XXXd1bxr.part04.rar
06.01.12-03:34; http://www.megaupload.com/?d=XXXXKQ4J #XXXd1bxr.part05.rar
06.01.12-03:34; http://www.megaupload.com/?d=XXXOR6A5 #XXXd1bxr.part06.rar
06.01.12-03:35; http://www.megaupload.com/?d=XXXSXPLB #XXXd1bxr.part07.rar
06.01.12-03:35; http://www.megaupload.com/?d=XXXHES1D #XXXd1bxr.part08.rar

@rolex0815
Super Sache, dass nun auch easyshare dabei ist. Dabei geht es mir aber so wie dir mit 4shared... ich habe keine Testlinks, werde mir aber mal bei Gelegenheit welche suchen geh'n.

Für 4shared hab ich mal Testlinks. Dabei handelt es sich immer um die gleiche Datei, lediglich mit gänderten Dateiendungen, weil 4shared für jeden Dateityp eine eigene Downloadseite bereitstellt. RAR, PDF, MP3 funktionieren - AVI nicht :motz: also muss ich da nochmals ran
HowTo-Ext2_Filesystem.pdf
HowTo-Ext2_Filesystem.mp3
HowTo-Ext2_Filesystem.avi
HowTo-Ext2_Filesystem.rar


@ukvideo
Tolle Sache mit der Auswahl , man müsste ggf. noch ein paar Worte im Wiki darüber verlieren. Ich kann mich noch an meine ersten Gehversuche mit F!L erinnern und wurde von der Optionen erst mal erschlagen (vor allem die unterschiedlichen Möglichkeiten Premium zu nutzen betreffend).

Wenn jemand jetzt noch uploading.com hinbekommen würde...

Da muss ich leider passen
Ich konnte zwar die Zeilen 37 und 73 erfolgreich ändern

#		filename="$(grep "<h2>" $f | sed '1d' | sed '2d' | sed -e 's/.*<h2>\([^<]*\).*/\1/')"
		filename="$(grep " kostenlos von Uploading.com herunterladen" $f | sed -e 's/.*>\(.*\) kostenlos.*/\1/')"

#		url2="$(sed -e 's/\\//g' -e 's/.*link\": \"\([^\"]*\).*/\1/' $f)"
		url2="$(sed -e 's/\\//g' -e 's/.*link\":\"\([^\"]*\).*/\1/' $f)"

dass nun wieder der Dateiname und der finale Link erkannt werden. Allerdings führt dieser nun zu einer Webseite, auf der "Lädt gerade..." zu lesen ist. Viel scheint nicht zu fehlen, aber eben Entscheidendes was meine derzeitigen Möglichkeiten bei weitem übersteigt.

 

[rolex0815]

4shared konnte ich schon erfolgreich testen. Idiotisch diese Vorgehensweise, die Links in Office, Video, Musik, etc. einzuteilen. :motz:

bei uploading.com bekomme ich mit dem curl immer die englische Seite (fehlendes $LANG, was auch immer), deshalb hat das mit dem Filenamen nicht geholfen. Ist nun repariert, uploading.com sollte wieder funktionieren.


Ich lade mal die Änderungen hoch bzgl. Check der parallelen Downloads.

Ein weiterer neuer Hoster: filepost.com

https://sourceforge.net/apps/trac/a...experimental_hoster/rolex0815/filepost_com.sh

 

[Yodafrosch]

Idiotisch diese Vorgehensweise, die Links in Office, Video, Musik, etc. einzuteilen.

Naja für Archive haben sie auch eigene Kategorien, zip, rar und archive^^. Das ist aber alles gar nicht so schlimm. Was mich letzten Endes wirklich nervte war, dass es für Fotos keine Wartezeit gibt und der Aufruf demzufolge anders ausfallen musste.
Ich habe es nun aber erfolgreich mit .7z, .avi, .exe, .leckmich, .m4a, .mp3, .ogg, .pdf, .png, .rar, .zip getestet. Testlinks und Plugin hänge ich an.

Wegen crocko.com (Fehler wenn Leerzeichen im Dateinamen):
Schau mal, ob das bei dir auch bei den nichtfunktionierenden Downloads hilft. Bei mir scheint es zu klappen.

#		filename=$(grep -m1 "<strong>" $f | sed -n 's|.*ownload:.*<strong>\([^ ]*\)<\/strong>.*|\1|p' | sed 's|<br>||g')
		filename=$(grep -m1 "Download:.*<strong>" $f | sed -n 's|.*ownload:.*<strong>\([^<]*\).*|\1|p' | sed 's|<br>||g')

Edit: Hilft nur halb - wird zwar geladen, aber lädt nun ewig. Aus "Dateiname mit Leerzeichen" wird "Dateiname+mit+Leerzeichen". Der wird korrekt geladen, aber dann hängt F!L.

FritzLoad Revision 1671 gestartet 07.01.2012 19:25:40: ./fritzload.sh i5 -l /var/media/ftp/General-USBFlashDisk-01/FritzLoad/config/dl_jobs5.txt  
### crocko_com-free: http://www.crocko.com/08154712/
19:25:43 Warte auf Internetverbindung...
19:25:45 GET1: http://www.crocko.com/08154712/ Options: --cookie-jar /var/tmp/fritzload5/cookie.txt
Changed-Filename: Dateiname mit Leerzeichen.3gp
File: /var/media/ftp/TrekStor-DSmaxim-u-01/downloads/Dateiname mit Leerzeichen.3gp
ash: 1: unknown operand
19:25:51 Warte 14 Minuten und 10 Sekunden
19:25:51 Reconnect Signal-Datei: /var/media/ftp/General-USBFlashDisk-01/FritzLoad/bin/../tmp/signal.reconnect.disabled
19:40:01 GET2: http://www.crocko.com/08154712/ Options: -b /var/tmp/fritzload5/cookie.txt --referer http://www.crocko.com/08154712/
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed

  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
100  3059  100  3059    0     0   3965      0 --:--:-- --:--:-- --:--:--  7130
Warte auf Antwort von Captcha Brotherhood........Fertig
File: /var/media/ftp/TrekStor-DSmaxim-u-01/downloads/Dateiname_mit_Leerzeichen.3gp
ash: 1: unknown operand
Freier Speicher auf /var/media/ftp/TrekStor-DSmaxim-u-01/downloads: 419930 Mbyte
Reservierter Speicher aller Instanzen: 154 Mbyte
URL-Download (T:1/R:5): http://d15.crocko.com/file_contents/file/id/EDDE1C6CXXXXX1E09676002481FAD55A/skey/FdQ3SomFlAqnt/cont_id/47 (File: Dateiname_mit_Leerzeichen.3gp)
MSG: 19:42: Korrigiere Dateinamen von (Dateiname_mit_Leerzeichen.3gp) in (Dateiname+mit+Leerzeichen.3gp)
File: /var/media/ftp/TrekStor-DSmaxim-u-01/downloads/Dateiname+mit+Leerzeichen.3gp
19:42:13 Download-OK: time:0:01:50 size:3187k speed:29546
19:42:13 Warte 0 Minuten und 2 Sekunden
19:42:14 Reconnect Signal-Datei: /var/media/ftp/General-USBFlashDisk-01/FritzLoad/bin/../tmp/signal.reconnect.disabled
19:42:16 GET1: http://www.crocko.com/08154712/ Options: --cookie-jar /var/tmp/fritzload5/cookie.txt
Changed-Filename: Dateiname mit Leerzeichen.3gp
File: /var/media/ftp/TrekStor-DSmaxim-u-01/downloads/Dateiname mit Leerzeichen.3gp
ash: 1: unknown operand
19:42:20 Warte 20 Minuten und 0 Sekunden
19:42:20 Reconnect Signal-Datei: /var/media/ftp/General-USBFlashDisk-01/FritzLoad/bin/../tmp/signal.reconnect.disabled

Wegen uploaded:
Bei mir (als FreeUser) funktioniert mein Testlink nicht. Auf deinem Bild lädst du als Premium, da scheint es zu klappen.
Testlink
Edit: Wenn der Link kein "/" am Ende hat, klappt es mit dem Dateinamen. Aber der
Testlink wird trotzdem nicht geladen. Geladen wird wieder die Webseite, auf der "Lädt gerade..." steht.

 

[rolex0815]

Bie 4shared konnte ich alle Testlinks erfolgreich laden.

Das es mit dem Filenamen bei crocko Probleme gibt, habe ich noch gar nicht bemerkt. Bei mir kam das unvorhersehbare Verhalten immer am Schluss, wo der Download sofort startet, wenn das Captcha richtig eingegeben wurde. Danke für den Hinweis.

Bin bei uploading.com auch Freeuser. Der Premium Haken ist nur angehakt, aber wirkungslos.

Dein Testlink wird bei mir übrigens ohne Komplikationen heruntergeladen.

Anhang anzeigen log.zip

Egal ob mit oder ohne Slash am Ende. Bei mir wird geladen.

 

[roadman17]

Bei der currentlyLoading-Funktion würde ich vorschalgen zusätzlich noch mit "ps w" zu schauen, ob eine curl-Instanz gerade einen Download der entsprechenden Datei durchführt.

 

[rofla]

moin moin,
habe eine fritzbox 7330; und zu dieser in diesem thread und bei google noch nix gefunden!
ist es gefahrlos, die installation wie im wiki genannt einfach mal durchzuführen?

 

[Yodafrosch]

Hallo rofla,

spricht nichts dagegen. Bei Firmware >xx.04.89 solltest du die install.sh durch die alternative install.sh ersetzen und dann erst ./install -i aufrufen, dann sollte alles funktionieren. Kaputt machen kannst du nichts.


@all
Kann es sein, dass sich in den letzten Tagen ein kleiner Bug eingeschlichen hat? Ich bekomme bei Rev. 1672 bei jedem Download:

ash: 1: unknown operand

Edit: Hat sich erledigt, lag am nicht gesetzten Haken des Parallel-DL-Checks.

WICHTIG: Bitte beachten bei einem Update auf >= Rev. 1671 muss auf der config-Seite bei Parallel-DL-Check etwas angehakt werden, sonst tritt o.a. Fehler auf und manche Hoster funktionieren nicht mehr!


Ich bin probeweise auf 1651 zurück (da trat es nicht auf) und dann via Diff-Update wieder auf die 1672. Siehe Log.
FritzLoad Revision 1651 gestartet 08.01.2012 16:15:06: ./fritzload.sh i2 -l /var/media/ftp/General-USBFlashDisk-01/FritzLoad/config/dl_jobs2.txt
### rapidshare_com-free: http://rapidshare.com/files/4712/XXXgd1bxe.part43.rar
16:15:07 Warte auf Internetverbindung...
16:15:08 CHECK: http://api.rapidshare.com/cgi-bin/rsapi.cgi?sub=checkfiles&files=4712&filenames=XXXgd1bxe.part43.rar Options:
MSG: 16:15: File OK
File: /var/media/ftp/TrekStor-DSmaxim-u-01/downloads/XXXgd1bxe.part43.rar
16:15:11 PREPARE: http://api.rapidshare.com/cgi-bin/r...leid=4712&filename=XXXgd1bxe.part43.rar&try=1 Options:
File: /var/media/ftp/TrekStor-DSmaxim-u-01/downloads/XXXgd1bxe.part43.rar
Freier Speicher auf /var/media/ftp/TrekStor-DSmaxim-u-01/downloads: 422032 Mbyte
Reservierter Speicher aller Instanzen: 72 Mbyte


FritzLoad Revision 1672 gestartet 08.01.2012 16:49:44: ./fritzload.sh i2 -l /var/media/ftp/General-USBFlashDisk-01/FritzLoad/config/dl_jobs2.txt
### rapidshare_com-free: http://rapidshare.com/files/4712/XXXgd1bxe.part44.rar
16:49:45 Warte auf Internetverbindung...
16:49:47 CHECK: http://api.rapidshare.com/cgi-bin/rsapi.cgi?sub=checkfiles&files=4712&filenames=XXXgd1bxe.part44.rar Options:
MSG: 16:49: File OK
File: /var/media/ftp/TrekStor-DSmaxim-u-01/downloads/XXXgd1bxe.part44.rar
16:49:48 PREPARE: http://api.rapidshare.com/cgi-bin/r...leid=4712&filename=XXXgd1bxe.part44.rar&try=1 Options:
16:49:49 Warte 0 Minuten und 4 Sekunden
16:49:50 Reconnect Signal-Datei: /var/media/ftp/General-USBFlashDisk-01/FritzLoad/bin/../tmp/signal.reconnect.disabled
File: /var/media/ftp/TrekStor-DSmaxim-u-01/downloads/XXXgd1bxe.part44.rar
ash: 1: unknown operand
Freier Speicher auf /var/media/ftp/TrekStor-DSmaxim-u-01/downloads: 421797 Mbyte
Reservierter Speicher aller Instanzen: 43 Mbyte


RS scheint es nicht zu stören, allerdings verträgt MU wohl etwas nicht. Hab ich den Fehler exklusiv oder können den andre bei sich reproduzieren?

 

[rolex0815]

Bei der currentlyLoading-Funktion würde ich vorschalgen zusätzlich noch mit "ps w" zu schauen, ob eine curl-Instanz gerade einen Download der entsprechenden Datei durchführt.

Hmm, also ich sehe mit "ps" und "ps w" nur daß F!L gerade lädt, aber nicht welcher Link, bzw. welche Datei. Da scheint das Fenster abgeschnitten zu sein. Ein Umleiten führt auch zu nix:

# ps > ps.txt
# ps w > ps.txt

ps.txt:

/var/media/ftp/WD-MyPassport0740-01/FritzLoad/bin/../bin/curl -A 4 --location --speed-limit 500b --speed-time 400 --limit-rate 1000000k --user-agent User-Agent: Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6;

ps_w.txt:

/var/media/ftp/WD-MyPassport0740-01/FritzLoad/bin/../bin/curl -A 4 --location --speed-limit 500b --speed-

Also wird mit "ps w" noch weniger ausgegebn.

@Yodafrosch:
[uploading.com, crocko.com] Ich schau's mir später dann nochmals an, was da spinnt.
Werde dann aber leider auch wieder weniger Zeit haben.

 

[rofla]

spricht nichts dagegen. Bei Firmware >xx.04.89 solltest du die install.sh durch die alternative install.sh ersetzen und dann erst ./install -i aufrufen, dann sollte alles funktionieren. Kaputt machen kannst du nichts.

installation hat problemlos geklappt, decrypt und stat des downloads auch, allerdings wird durch fritzload anscheinend die box ausgelastet: das gui (sowohl von fritzload als auch das von avm) ist nicht erreichbar, internet browsen funkt ne weile noch (langsam, anscheinen läuft der dl!), dann 2 min später reboot der box.
fritzbox 7330 auf neuester offi. firmware

 

[Yodafrosch]

@Yodafrosch:
[uploading.com, crocko.com] Ich schau's mir später dann nochmals an, was da spinnt.
Werde dann aber leider auch wieder weniger Zeit haben.

Warte erst mal ab. Ich habe da einen andren Verdacht, siehe mein Edit oben wegen "ash: 1: unknown operand".
Entweder hat sich eine kleiner Bug eingeschlichen und es ist bei allen - oder bei mir alleine stimmt etwas nicht, dann installier ich einfach nochals neu. Erstaunlich ist eben, dass Rev. 1651 tadellos funktioniert und 1672 dann nicht, so dass ich eigentlich nicht davon ausgehe, dass ich den Fehler alleine habe.

@rofla
Hmm, das klingt nach einer 05er Firmware. Die alternative install.sh hast du installiert und ausgeführt? Wenn ja, gibt es noch alternativ diese Startmethode (in der Konsole unter Telnet):

echo "while !(/var/media/ftp/DEIN_USB_STICK/FritzLoad/bin/install.sh /var/media/ftp/DEIN_USB_STICK/FritzLoad -g); do sleep 5; done" > /var/flash/debug.cfg

DEIN_USB_STICK musst du dann noch gegen den Namen deines Sticks oder deiner HD ersetzen. Außerdem musst du zusätzlich noch auf der Konfigurationsseite den Downloadpfad manuell setzen, da /var/fritzload/downloads bei diesem Aufruf nicht existiert.
Damit sollte es dann eigentlich klappen.