[Erledigt] Konfiguration von Tinyproxy

[horst123456]

Hallo zusammen!

Ich habe meine FB7320 um das Paket Tinyproxy erweitert. Ich möchte damit Werbung filtern und etwas weniger Daten beim Surfen im Netz verteilen (User-Agent usw.)

Nun würde ich gerne eine große Filterliste (gerne die von Adblock) nutzen, welche jedoch so nicht auf die Box passt.
Ich würde die Liste auch auf den angeschlossenen USB-Stick auslagern, jedoch kann ich bei Tinyproxy keinen Pfad zur Filter-Datei angeben. Dieser scheint immer auf /var/tmp/tinyproxy.filter zu zeigen.

In der /var/mod/etc/tinyproxy.conf kann ich die Sachen nicht ändern, da die Datei bei jedem Proxy-Start mit der originalen conf-Datei überschrieben wird. Meine Änderungen greifen demnach nicht.

Die Konfigurations-Datei scheint aus der /var/mod/etc/conf/tinyproxy.cfg erstellt zu werden. Was ich hier ändere, wandert in die tinyproxy.conf.

export SHLVL='1'
export TINYPROXY_ADDHEADER_NAME=''
export TINYPROXY_ADDHEADER_VALUE=''
export TINYPROXY_ALLOW=''
export TINYPROXY_ANONYMOUS='"Host"'
export TINYPROXY_BIND=''
export TINYPROXY_BINDSAME='no'
export TINYPROXY_CATCHALL='no'
export TINYPROXY_CONFSERVER='no'
export TINYPROXY_CONFSERVERPORT='88'
export TINYPROXY_CONNECTPORT='443;563'
export TINYPROXY_DEFAULTERRORFILE=''
export TINYPROXY_DENY=''
export TINYPROXY_DISABLEVIAHEADER='yes'
export TINYPROXY_ENABLED='no'
export TINYPROXY_ERRORFILE=''
export TINYPROXY_FILTER='&ad_box_
&ad_channel=
&ad_classid='
export TINYPROXY_FILTERCASESENSITIVE='no'
export TINYPROXY_FILTERDEFAULTDENY='no'
export TINYPROXY_FILTEREXTENDED='no'
export TINYPROXY_FILTERURLS='no'
export TINYPROXY_LISTEN='0.0.0.0'
export TINYPROXY_LOGFILE='/var/tmp/tinyproxy.log'
export TINYPROXY_LOGLEVEL='Warning'
export TINYPROXY_MAXCLIENTS='100'
export TINYPROXY_MAXREQUESTSPERCHILD='0'
export TINYPROXY_MAXSPARESERVERS='20'
export TINYPROXY_MINSPARESERVERS='4'
export TINYPROXY_NOUPSTREAM=''
export TINYPROXY_PORT='3128'
export TINYPROXY_REVERSEBASEURL=''
export TINYPROXY_REVERSEMAGIC='no'
export TINYPROXY_REVERSEONLY='no'
export TINYPROXY_REVERSEPATH_0=''
export TINYPROXY_REVERSEPATH_1=''
export TINYPROXY_REVERSEPATH_2=''
export TINYPROXY_REVERSEPATH_3=''
export TINYPROXY_REVERSEPATH_4=''
export TINYPROXY_REVERSEPATH_5=''
export TINYPROXY_REVERSEPATH_6=''
export TINYPROXY_REVERSEPATH_7=''
export TINYPROXY_REVERSEPATH_8=''
export TINYPROXY_REVERSEPATH_9=''
export TINYPROXY_STARTSERVERS='10'
export TINYPROXY_SYSLOG='no'
export TINYPROXY_TIMEOUT='600'
export TINYPROXY_UPSTREAM=''
export TINYPROXY_VIAPROXYNAME='proxy'
export TINYPROXY_XTINYPROXY='no'

Leider wird mit dem Punkt "export TINYPROXY_FILTER" nicht der Pfad exportiert, sondern schon die Filterregeln, aus denen im Anschluss die /var/tmp/tinyproxy.filter angelegt wird.

Hat jemand eine Idee, wie ich den Pfad geändert bekomme?
In der Datei /etc/default.tinyproxy/tinyproxy_conf habe ich den Pfad zu dem Filter gefunden, kann diesen aufgrund von "Read-only file system" nicht editieren.


Außerdem habe ich noch eine Frage zum "filtern" vom User-Agent. Gebe ich im Webinterface bei den Tinyproxy-Einstellungen unter Anonymous "User-Agent" ein, wird die conf-Datei um den Eintrag erweitert (hier musste ich erstmal mit der Syntax rumprobieren, da der Eingabehinweis "(*): Optionen mit mehreren möglichen Einträgen, per Komma getrennt" nix von Anführungszeichen sagt).

Anonymous "User-Agent"

So soll der Punkt ja normalerweise auch aussehen. Lasse ich nun aber bei aktiviertem Proxy und konfiguriertem Browser mal einen Anonymitätscheck durchlaufen, wird mir trotzdem der User-Agent angezeigt.
Habe ich das etwas falsch gemacht, läuft beim Proxy was nicht richtig oder ist das normal?

 

[horst123456]

Hat denn keiner eine Idee?

Folgendes wird beim Webinterface gemeldet, wenn ich versuche die Filterliste zu speichern.

Saving settings ... done.
Saving tinyproxy.cfg ... done.

size: 458697 limit: 32768
ERROR: /var/flash/freetz too big

Damit ist also der Flashspeicher voll, warum auch immer dort nun scheinbar die ganze Filterliste hingespeichert werden soll...

Nun hatte ich mir noch überlegt, einfach die tinyproxy.conf bzw. den gesamten Ordner mit einem Schreibschutz zu versehen, damit ich meine Einstellungen machen kann und die Datei nicht beim Proxy-Start überschrieben wird. Bringt aber auch nichts, trotzdem wird die Datei mit den alten Sachen überschrieben.

Ich würde ja auch vor dem Erstellen der Firmware Änderungen vornehmen, weiß aber nicht so wirklich, wo ich anpacken soll. Den Pfad der Filterliste in der tinyproxy_conf (die eigentlich Read-Only ist), könnte ich so vermutlich ändern. Bringen würde es aber wohl auch nix, da trotzdem noch alles in /var/flash/freetz gespeichert wird und demnach der Flashspeicher voll ist...

Eine feine Sache wäre es, wenn ich den Proxy ausschließich über die conf-Datei und eine selbst angelegte Filterliste einstellen könnte und keine automatischen Geschichten durch Änderungen im Webinterface bzw. durch den Proxy-Start angetreten werden...

Ich kann natürlich auch noch einen anderen Proxy ausprobieren (Privoxy habe ich schon durch, ist mir aber von den Einstellungen zu umfangreich und zu kompliziert. Da ich noch ein paar andere Sachen auf der Box laufen habe, ist Privoxy vermutlich auch von den Ressourcen nicht gerade optimal.).

Damit würde mir noch Polipo bleiben, wobei ich nicht weiß, ob der Proxy meine "Anforderungen" erfüllt. Ob ich dort nicht vielleicht auf die gleichen Probleme stoße, weiß ich natürlich auch nicht. :neutral:

 

[RalfFriedl]

Du könntest das Web-Interface so ändern, dass man statt den Regeln selbst auch einen Pfad auf eine Datei eingeben kann.

 

[horst123456]

Und wo fängt man da am besten an?
Generell würde es ja wohl nicht reichen, wenn man diese Option irgendwie ins Webinterface baut (abgesehen davon habe ich mich mit sowas bisher nicht beschäftigt). Die Option muss ja auch irgendwie in das Tinyproxy-Paket eingebaut werden - wie und an welche Stelle, das steht für mich bisher auf einem anderen Blatt.

edit:
Mir würde es vermutlich schon reichen zu wissen wo festgelegt wird, welche Variable aus der tinyproxy.cfg in welche Variable in der tinyproxy.conf übersetzt wird. Dann könnte man in export TINYPROXY_FILTER den Pfad zur Filterdatei (Bsp. /etc/tinyproxy/filter) übergeben und diesen in der conf-Datei als Filter Filter "/etc/tinyproxy/filter" einsetzen.
Momentan wird aus export TINYPROXY_FILTER die Filterdatei selbst erstellt, der Pfad ist fix.

 

[RalfFriedl]

Unter make/tiniproxy/files/root stehen sowohl die Dateien fürs Web-Interface als auch diejenigen, die das auswerten.

Alternativ kannst Du auf der Box die Datei /etc/default.tinyproxy/tinyproxy_conf, die für das Erzeugen der Konfiguration zuständig ist, nach /tmp/flash oder /tmp/flash/tinyproxy kopieren und entsprechend anpassen

Oder Du erstellt die Datei /tmp/flash/tinyproxy.extra oder /tmp/flash/tinyproxy/tinyproxy.extra und schreibst dort die zusätzliche Konfiguration hinein, also Filter "/pfad/tinyproxy.filter"

 

[horst123456]

Vielen Dank schon mal für diese hilfreichen Informationen! Ist die letzte Variante irgendwo dokumentiert?

Ich habe nun also in /tmp/flash/ eine tinyproxy.extra mit dem Pfad zur Filterliste angegeben. Beim Start von Tinyproxy wird diese Angabe auch in die tinyproxy.conf übernommen. Leider läuft Tinyproxy dann aber nicht, zeigt beim Start und im Log keine Fehlermeldung an. Es scheint jedoch an der Größe der Filterliste zu liegen, da scheinbar die Filterliste - unabhängig vom Pfad der Filterliste (Box/Stick) - in /var/flash/freetz geschrieben wird. Dies zeigt zumindest ein Übernehmen der Einstellungen von Tinyproxy im WebIF.

Saving settings ... done.
Saving tinyproxy.cfg ... done.

size: 98786 limit: 32768
ERROR: /var/flash/freetz too big

In diesem Fall hat die Filterliste immerhin ~7.000 Zeilen. Bei deutlich weniger Zeilen (z. B. ~20) werden die Sachen übernommen und Tinyproxy läuft.

In der FAQ steht dazu:

/var/flash/freetz too big

Das von Freetz vorgegebene Limit für die maximale Größe der Konfiguration wurde überschritten. Dieses Limit ist ein Schutz, um nicht unbeabsichtigt das TFFS volllaufen zu lassen. Das Limit kann folgendermaßen erhöht werden, man sollte aber den Füllstand des TFFS im Auge behalten:

modconf set mod MOD_LIMIT=<bytes>
modconf save mod
modsave flash

Seit r5706 (trunk) wird das Setzen des Limits nicht mehr unterstützt.

Gibt es eine Alternative, wenn man das Limit nicht mehr anpassen kann?
Aktuell zeigt Freetz folgendes an:

Flash-Speicher (TFFS) für Konfigurationsdaten
76 kB von 256 kB belegt, 180 kB frei

Demnach scheint dort aktuell ja ausreichend Platz zu sein.

edit:
Ich Dödel habe natürlich die Filterliste ebenfalls mit in /tmp/flash geschoben, also kein Wunder, dass wegen der Größe gemeckert wird...
Dennoch besteht das Problem, dass Tinyproxy nicht startet. Im WebIF steht:

Starting tinyproxy ... done.

Klicke ich auf restart, dann kommt:

Stopping tinyproxy ... not running.
Starting tinyproxy ... done.

Tinyproxy läuft aber trotzdem nicht.

Ohne die Filterliste läuft die Geschichte. Vielleicht liegt hier also auch einfach nur ein Syntax-Problem vor.

 

[RalfFriedl]

Starte das Programm mal so, vielleicht sieht man dann etwas.

sh -x /etc/init.d/rc.tinyproxy start

 

[horst123456]

root@fritz:/var/tmp# sh -x /etc/init.d/rc.tinyproxy start
+ DAEMON=tinyproxy
+ PID_FILE=/var/run/tinyproxy/tinyproxy.pid
+ . /etc/init.d/modlibrc
+ export PATH=/mod/sbin:/mod/bin:/mod/usr/sbin:/mod/usr/bin:/mod/etc/init.d:/sbi
n:/bin:/usr/sbin:/usr/bin
+ export LD_LIBRARY_PATH=/mod/lib:/mod/usr/lib
+ : tinyproxy
+ : tinyproxy
+ : tinyproxy_ENABLED
+ : /mod/etc/tinyproxy.conf
+ : tinyproxy
+ : /var/run/tinyproxy/tinyproxy.pid
+ [ -n tinyproxy ]
+ modlib_loadconfig
+ local CONF_FILE=/mod/etc/conf/tinyproxy.cfg
+ [ ! -r /mod/etc/conf/tinyproxy.cfg ]
+ . /mod/etc/conf/tinyproxy.cfg
+ export SHLVL=1
+ export TINYPROXY_ADDHEADER_NAME=
+ export TINYPROXY_ADDHEADER_VALUE=
+ export TINYPROXY_ALLOW=
+ export TINYPROXY_ANONYMOUS=
+ export TINYPROXY_BIND=
+ export TINYPROXY_BINDSAME=no
+ export TINYPROXY_CATCHALL=no
+ export TINYPROXY_CONFSERVER=no
+ export TINYPROXY_CONFSERVERPORT=88
+ export TINYPROXY_CONNECTPORT=443;563
+ export TINYPROXY_DEFAULTERRORFILE=
+ export TINYPROXY_DENY=
+ export TINYPROXY_DISABLEVIAHEADER=no
+ export TINYPROXY_ENABLED=yes
+ export TINYPROXY_ERRORFILE=
+ export TINYPROXY_FILTER=
+ export TINYPROXY_FILTERCASESENSITIVE=no
+ export TINYPROXY_FILTERDEFAULTDENY=no
+ export TINYPROXY_FILTEREXTENDED=no
+ export TINYPROXY_FILTERURLS=no
+ export TINYPROXY_LISTEN=0.0.0.0
+ export TINYPROXY_LOGFILE=/var/tmp/tinyproxy.log
+ export TINYPROXY_LOGLEVEL=Warning
+ export TINYPROXY_MAXCLIENTS=100
+ export TINYPROXY_MAXREQUESTSPERCHILD=0
+ export TINYPROXY_MAXSPARESERVERS=20
+ export TINYPROXY_MINSPARESERVERS=5
+ export TINYPROXY_NOUPSTREAM=
+ export TINYPROXY_PORT=3128
+ export TINYPROXY_REVERSEBASEURL=
+ export TINYPROXY_REVERSEMAGIC=no
+ export TINYPROXY_REVERSEONLY=no
+ export TINYPROXY_REVERSEPATH_0=
+ export TINYPROXY_REVERSEPATH_1=
+ export TINYPROXY_REVERSEPATH_2=
+ export TINYPROXY_REVERSEPATH_3=
+ export TINYPROXY_REVERSEPATH_4=
+ export TINYPROXY_REVERSEPATH_5=
+ export TINYPROXY_REVERSEPATH_6=
+ export TINYPROXY_REVERSEPATH_7=
+ export TINYPROXY_REVERSEPATH_8=
+ export TINYPROXY_REVERSEPATH_9=
+ export TINYPROXY_STARTSERVERS=10
+ export TINYPROXY_SYSLOG=no
+ export TINYPROXY_TIMEOUT=600
+ export TINYPROXY_UPSTREAM=
+ export TINYPROXY_VIAPROXYNAME=proxy
+ export TINYPROXY_XTINYPROXY=no
+ modlib_start
+ local DAEMON_ENABLED=
+ [  == no ]
+ [  == inetd -a ! -x /mod/etc/init.d/rc.inetd ]
+ modlib_check_running
+ [ -n  ]
+ [ -x /mod/etc/init.d/rc.inetd ]
+ echo tinyproxy_ENABLED
+ tr [:lower:]- [:upper:]_
+ eval echo $TINYPROXY_ENABLED
+ echo yes
+ [ yes == inetd ]
+ [ -n  ]
+ local fn=/var/run/tinyproxy/tinyproxy.pid
+ [ ! -s /var/run/tinyproxy/tinyproxy.pid ]
+ return 3
+ start
+ modlib_startdaemon tinyproxy -c /mod/etc/tinyproxy.conf
+ echo -n Starting tinyproxy ...
Starting tinyproxy ... + config
+ modlib_config
+ local in_files=tinyproxy
+ local out_file=/mod/etc/tinyproxy.conf
+ [ -x /tmp/flash/tinyproxy_conf ]
+ [ -x /tmp/flash/tinyproxy/tinyproxy_conf ]
+ /mod/etc/default.tinyproxy/tinyproxy_conf
+ [ -f /tmp/flash/tinyproxy.extra ]
+ echo ### content of /tmp/flash/tinyproxy.extra
+ cat /tmp/flash/tinyproxy.extra
+ chown nobody:nobody /mod/etc/tinyproxy.conf
+ [ -e /var/tmp/tinyproxy.filter ]
+ chown nobody:nobody /var/tmp/tinyproxy.filter
+ [ ! no = yes ]
+ touch /var/tmp/tinyproxy.log
+ chown nobody:nobody /var/tmp/tinyproxy.log
+ which tinyproxy
+ [ ! -x /usr/sbin/tinyproxy ]
+ startdaemon_pre
+ :
+ local rv_pre=0
+ env - PATH=/mod/sbin:/mod/bin:/mod/usr/sbin:/mod/usr/bin:/mod/etc/init.d:/sbin
:/bin:/usr/sbin:/usr/bin LD_LIBRARY_PATH=/mod/lib:/mod/usr/lib tinyproxy -c /mod
/etc/tinyproxy.conf
+ local rv=0
+ startdaemon_post
+ :
+ local rv_post=0
+ [ 0 -ne 0 -o 0 -ne 0 -o 0 -ne 0 ]
+ local fn=/var/run/tinyproxy/tinyproxy.pid
+ [ ! -s /var/run/tinyproxy/tinyproxy.pid ]
+ pidof tinyproxy
+ sed s/.* //
+ local dp=27044
+ [ 0 -ne 0 ]
+ [ -n 27044 ]
+ echo 27044
+ echo done.
done.
+ return 0
+ start_addons
+ [ no == yes ]
+ [ no == yes ]
+ exit 0

Das sieht - in meinen Augen - wie bei einem normalen Start aus.

Tinyproxy scheint sich aber irgendwie mit der Länge der Filterliste schwer zu tun. Die magische Grenze sind momentan etwa 1200 Zeilen. Ist der Inhalt der Filterdatei kürzer, dann läuft der Proxy - ist die Datei länger, dann startet er nicht.

 

[RalfFriedl]

Dann ist es ein Problem von tinyproxy, oder vom vorhandenen Speicher in der Box.

Starte es mal mit diesem Aufruf, nachdem die Konfigurationsdateien von einem normalen Start erzeugt wurden:

env - PATH=/mod/sbin:/mod/bin:/mod/usr/sbin:/mod/usr/bin:/mod/etc/init.d:/sbin:/bin:/usr/sbin:/usr/bin LD_LIBRARY_PATH=/mod/lib:/mod/usr/lib tinyproxy -c /mod/etc/tinyproxy.conf -d

Evtl. wird dann etwas angezeigt, schau außerdem mal ins System Log, mit logread oder im Freetz Frontend.

 

[horst123456]

Danke dir auch dafür (warum gibt es hier eigentlich keinen Danke-Button? ), mit dem Befehl startet Tinyproxy nun auch mit der großen Filterliste (~ 7.000 Zeilen). Meldungen kommen keine, weder in der Shell, noch in den "normalen" Logdateien (mod_load.log, mod_net.log, mod.log, onlinechanged.log, mod_mount.log) im Freetz-WebIF.

Schwebt dir noch eine andere Log-Datei vor? Außer nmbd und smbd habe ich in /var/log/ aber auch nichts anderen gesehen.

Deutlich größere Dateien überfordern die Box dann scheinbar - der Test einer Filterdatei mit rund 40.000 Zeilen hat die Box erstmal für längere Zeit in eine Reboot-Schleife geschoben. Sie scheint jetzt aber wieder zu laufen (wobei ich nicht nochmal neugestartet habe um zu gucken, ob sie wieder in einer Schleife hängt).

Worin unterscheidet sich der Befehl jetzt vom "normalen" Tinyproxy-Aufruf?

Es besteht jetzt definitiv noch das Syntax-Problem der Filterdatei (z. B. die hier https://easylist-downloads.adblockplus.org/easylistgermany.txt) - wie diese aussehen soll, habe ich noch nicht dokumentiert gefunden.
Mit dem aktuellen Aufbau (wobei ich die Kommentar-Zeilen ala "! ---" und Zeilen mit "[]" usw. entfernt habe, da der Proxy sonst beim Start eine Fehlermeldung ausgibt) wird mir fast jede Seite komplett gefiltert. Tinyproxy benötigt scheinbar eine andere Syntax.

Ich habe lediglich gesehen, dass einige Leute in ihrer Filterliste z. B. schreiben:

www.google.de/

oder:

www\.google\.de\/

Wie das nun muss, weiß ich bisher nicht. Gerade in der Filterliste von Adblockplus (Link siehe oben - würde ich gerne nutzen) sind ja aber noch deutlich mehr Zeichen/Sonderzeichen (#, @,|, * usw.) enthalten. Muss dort u. U. ebenfalls vor jedes Sonderzeichen ein Backslash?

 

[RalfFriedl]

Das Kommando aus #9 unterscheidet sich vom normalen Aufruf nur durch die Option -d, die hinten angehängt ist. Diese bewirkt, dass das Programm nicht in den Hintergrund geht, was normalerweise nur zur Fehlersuche gewünscht ist. Mit anderen Worten, es sollte das Verhalten des Programms nicht anderweitig beeinflussen, es kann aber passieren, dass dies doch der Fall ist, aus welchen Gründen auch immer.

Laut man tinyproxy.conf kann man beeinflussen, was das Programm an Informationen von sich gibt. Wenn man es mit der Option -d aufruft, kann man die Ausgabe direkt auf das Terminal leiten. LogLevel sollte entweder Connect oder Info sein, oder andere gültige Werte aus dem Manual.

Syslog Off
LogFile /dev/stdout
LogLevel Connect
LogLevel Info

Die Schreibweise mit \. ist sinnvoll, wenn reguläre Ausdrücke verwendet werden. In diesem Fall funktioniert die andere Schreibweise meistens auch, es gibt aber den (wenig wahrscheinlichen) Fall, dass es damit einen Treffer gibt, wo keiner gewünscht wird. Außerdem ist es möglicherweise langsamer.

Du kannst auch mal das Programm mit strace vor dem ganzen Aufruf starten, dann sieht man vielleicht etwas, warum es sich beendet. Strace kann man in der Konfiguration aktivieren, es ist dafür nicht notwendig, eine neue Firmware auf die Box zu bringen, es reicht, das Programm auf die Box zu kopieren.

 

[horst123456]

Das Kommando aus #9 unterscheidet sich vom normalen Aufruf nur durch die Option -d, die hinten angehängt ist. Diese bewirkt, dass das Programm nicht in den Hintergrund geht, was normalerweise nur zur Fehlersuche gewünscht ist. Mit anderen Worten, es sollte das Verhalten des Programms nicht anderweitig beeinflussen, es kann aber passieren, dass dies doch der Fall ist, aus welchen Gründen auch immer.

Diesen Punkt habe ich mir nochmal angeschaut und den Aufruf ohne -d gemacht.

env - PATH=/mod/sbin:/mod/bin:/mod/usr/sbin:/mod/usr/bin:/mod/etc/init.d:/sbin:/bin:/usr/sbin:/usr/bin LD_LIBRARY_PATH=/mod/lib:/mod/usr/lib tinyproxy -c /mod/etc/tinyproxy.conf

Auch hier startet Tinyproxy fehlerfrei.

Das würde also heißen, dass der Start über das Webinterface bzw. der Aufruf

sh -x /etc/init.d/rc.tinyproxy start

irgendwas anderes machen.

Wenn ich nun Tinyproxy nach einem Neustart der Box (der vermutlich äußerst selten vorkommt) per telnet starten muss, wäre das für mich schon ok.

Es wäre dann halt noch die Frage, wie ich die Filterliste von Adblock weiter bearbeiten muss, damit Tinyproxy damit ohne Probleme umgehen kann. Was macht man z. B. mit solchen Zeilen?

||ad-clicks.com^$third-party
@@||ads.cvut.cz^$~third-party
##.external-add
pichunter.com##div[style="width: 800px; height: 250px; overflow: hidden;"]

## || und @@ löschen? Kann Tinyproxy mit irgendwelchen Größenangaben was anfangen?

Oder anders: Kennst du vielleicht eine andere - meinetwegen einfachere - mit Tinyproxy nutzbare Filterliste? Google bringt mich eigentlich nur zu Scripten zum Abändern von Listen für Privoxy... Für Tinyproxy bin ich nicht fündig geworden.

 

[RalfFriedl]

Ich kenne auch tinyproxy nicht, ich habe nur ins Manual geschaut.
Speziell die letzte Seite sieht aber so aus, als würde sie das HTML analysieren, und ich gehe davon aus, dass tinyproxy nur nach URLs filtert.

 

[horst123456]

Ich danke dir nochmals für deine große Hilfe.

Ich habe Tinyproxy inzwischen mit einer URL-Filterliste gefüttert, das hat soweit auch wunderbar geklappt.

Dennoch habe ich einfach mal Polipo ausprobiert, gefühlt ist der Proxy beim Seitenaufbau schneller - ansonsten natürlich wie Tinyproxy (nur - bei mir - mit der blöden Angewohnheit, dass er nach Änderungen der Einstellungen nix mehr macht und die Box neugestartet werden muss). Als direkten Vergleich werde ich mich jetzt auch nochmal an Privoxy rantrauen.

 

[koyaanisqatsi]

Moin

So soll der Punkt ja normalerweise auch aussehen. Lasse ich nun aber bei aktiviertem Proxy und konfiguriertem Browser mal einen Anonymitätscheck durchlaufen, wird mir trotzdem der User-Agent angezeigt.
Habe ich das etwas falsch gemacht, läuft beim Proxy was nicht richtig oder ist das normal?

Mit dem Anonymous "User-Agent" erlaubst du diesen, er wird also übertragen.
Mach mal ein # davor und nimm mal diese:

# Anonymous "User-Agent"
Anonymous "Host"
Anonymous "Authorization"
Anonymous "Cookie"

...und www.n24.de gibt dir aufgrund des fehlenden UAs kein CSS mehr.
Ein Beispiel dafür, wie eine Filterliste für tinyproxy aussehen kann: KlickKlack
Da sind aber noch keine regulären Ausdrücke dabei.
Für die RAs in der Liste könnt ich noch ein paar Beispiele gebrauchen.
Bis jetzt sieht meine Liste so aus:
/var/media/NEW_LINK/mips/tinyproxy.filter

adserver.ip-phone-forum.de
beeg.[a-z]{2,4}
google.*:80/.*(porn|sex)
google-analytics.com
facebook.[a-z]{2,4}
playboy.com:80
safebrowsing-cache.google.com
youtube.com:80/.*(porn|sex)
yahoo.com:80/.*sex
[h,f]{1,1}[t]{1,2}[p]{1,1}[s]{0,1}[:]{1,1}[/]{2,2}[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}

Irgendwie beschleunigen die "Googlefilter" das surfen.

Reguläre Ausdrücke:
Einfach mal ausprobieren. Um alle Spielarten eines DNS Suffixes zu filtern:
beeg.[a-z]{2,4}

NOTICE    Mar 03 09:15:05 [25923]: Proxying refused on filtered url "http://beeg.com/"
NOTICE    Mar 03 09:16:08 [25918]: Proxying refused on filtered url "beeg.com:443"

...HTTP/HTTPS/FTP filterung klappt Einwandfrei.

So könnte ein RA für "rohe" HTTP/HTTPS/FTP IPv4 aussehen...

[h,f]{1,1}[t]{1,2}[p]{1,1}[s]{0,1}[:]{1,1}[/]{2,2}[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}

...und für eine IPv6?

 

[horst123456]

Mit dem Anonymous "User-Agent" erlaubst du diesen, er wird also übertragen.
Mach mal ein # davor und nimm mal diese:

# Anonymous "User-Agent"
Anonymous "Host"
Anonymous "Authorization"
Anonymous "Cookie"

Das habe ich lustiger Weise aus den Manuals anders heraus gelesen.

Sobald eine Option aktiviert ist, wird der angegebene HTTP-Wert verschleiert. Wenn keiner der HTTP-Werte aktiviert ist, werden alle Browserdaten weitergereicht.

Hier ist es genau das Gegenteil:

The headers listed with Anonymous are allowed through, while all others are denied.

Ich probiere mich gerade nochmal an Privoxy und Polipo, für Tinyproxy war kein Platz mehr auf der Box (zumindest nicht ohne external, da hatte ich aber keine Lust drauf).

Wegen dem User-Agent scheint die Seite ip-check.info irgendwas speziell zu machen, denn ich kann mit keinem Proxy den User-Agent "verstecken". Auf anderen Seiten zum Testen klappt es aber.

 

[koyaanisqatsi]

Hallöle

Hab herausgefunden warum http://ip-check.info immer Firefox seinen User-Agent anzeigt.
Wer das verhindern möchte:
In Firefox diese URL eintippen und laden: about:config
Dann mit der rechten Maustaste: Neu --> String --> general.useragent.override
Jetzt was eintragen oder leer lassen. Ich bevorzuge: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

 

[RalfFriedl]

Ja, man kann den User Agent im Firefox einstellen.
Das hat aber nichts mit der Frage zu tun, wie man im Proxy den User Agent ändern/unterdrücken kann.

 

[koyaanisqatsi]

Anonymous "User-Agent" - Schickt den UA mit.
Addheader "Googlebot" - Fügt einen hinzu.
(Changeheader gibt es nicht)
Mit der Version von Tinyproxy geht das dann einfach mal nicht.
Es wird immer ein UA mitgeschickt, Rekord mit Upstreamproxy waren drei Stück.