Adblock feature für freetz ?

[feedzapper]

Das wäre ja auch sehr produktiv für freetz ?!
Ein adblock feature mit MALWARE domain Listen die geblockt werden + autoupdate. Oder gibts sowas schon in einem PACKAGE ?

Latest TOMATO shibby build 1.37 -> adblock feature

 

[chilango79]

Ja. Es gibt diverse host dateien im Internet. Von denen kann man den Text kopieren und in Freetz-Host importieren.
Viele Adserver werden dann nach 127.0.0.1 umgeleitet und verlieren sich im Nirvana

 

[JohnDoe42]

Seit einiger Zeit kann man die Adblock-Listen aus dem namensgleichen Firefox-Addon im Privoxy-Paket einlesen.

 

[make]

AdAway (bitte mal die Forumssuche benutzen) kann eine Einstellungsdatei für dnsmasq generieren bzw aktualisieren. Dadurch wird die DNS-Auflösung für AdServer, die aus AdHosts-Listen wie http://winhelp2002.mvps.org/hosts.txt entnommen werden, auf 127.0.0.1 umgebogen.

 

[feedzapper]

Danke für die Infos
Werde die dnsmasq Variante mal ausprobieren.
Ich glaube der Adblock bei tomato basiert auch auf dnsmasq ...?!
So als grundlegender Schutz ist das bestimmt nicht verkehrt, wenn z.b. auch noch smartphones am Router eingebucht sind.
Allerdings nutze ich schon hier auf allen Rechnern im Netzwerk "Adblock Plus" als Browser variante.
Dort kann man ja auch Malware Domain Listen abonieren.

 

[GokuSS4]

Adblock Plus? Bitte nicht! uBlock Origin!
https://github.com/gorhill/uBlock

außerdem müsste man ja die Hostsfiles manuell aktualisieren und pflegen?

 

[zehensocke]

Oder schau mal nach pi-hole. Wie der Name schon sagt - 'ne Raspel (Jessie) und dann die pi-hole Soft drauf.
Der macht dann DNS - und Requests für adware gehen erst gar nicht raus. Das Teil ist genial und wird regelmässig
aktualisiert....

gerd

 

[Beetlejuice]

Regelmäßig aktualisierte Adblock-Listen in diversen Formaten gibts z.B. unter https://pgl.yoyo.org/as/ .
Gleich oben auf der Seite kann man die Listen nach seinen Bedürfnissen anpassen.

Variante für dnsmasq:

http://pgl.yoyo.org/as/serverlist.php?hostformat=dnsmasq&showintro=0&mimetype=plaintext

Man sollte aber bedenken, dass beispielsweise Mediatheken der Privatsender so dann oft nicht mehr ordentlich funktionieren, da auch deren Werbung blockiert wird.

 

[feedzapper]

Man sollte aber bedenken, dass beispielsweise Mediatheken der Privatsender so dann oft nicht mehr ordentlich funktionieren, da auch deren Werbung blockiert wird.

Das ist in der Tat ein großes Problem, auch bei all den großen US TV Sendern wie CBS,NBC,ABC lassen sich mit eingeschaltetem Adblocker teilweise keinerlei Videos mehr abspielen.
Auch mit geladenen "Anti Adblock Killer" Listen

 

[feedzapper]

Irgendwie war mir danach, nun doch noch einen Adblocker mit minimalem Aufwand auf der Fritzbox + Freetz zu realisieren.
Was wird dafür benötigt ?

1. DNSMASQ
2. WGET mit SSL Unterstützung
3. Der NAS Speicher der Fritzbox (mit ca. 7MB freiem Speicher) intern oder extern

Zunächst lädt man sich hier die entsprechenden Files herunter (domains.txt und hostnames.txt)

https://github.com/notracking/hosts-blocklists

Diese kopiert man sich in den NAS Speicher der Box.
Hier bei mir ist das z.b. /var/media/ftp/Dokumente als Speicherort.
Dann sind im Freetz WebIF nur noch folgende Einträge unter Dnsmasq -> extra vorzunehmen
(mit dem entsprechenden Verweis auf den Speicherort der beiden .txt Dateien) :

conf-file=/var/media/ftp/Dokumente/domains.txt
addn-hosts=/var/media/ftp/Dokumente/hostnames.txt

Damit das ganze auch aktuell gehalten wird, sind bei mir noch zwei Cronjobs am laufen.
Diese aktualisieren die Dateien alle 7 Tage mit WGET und starten ein paar Minuten später DNSMASQ neu um die aktualisierten Dateien einzulesen.

10 3 */7 * * wget -q --no-check-certificate https://raw.github.com/notracking/hosts-blocklists/master/hostnames.txt -O /var/media/ftp/Dokumente/hostnames.txt | wget -q --no-check-certificate https://raw.github.com/notracking/hosts-blocklists/master/domains.txt -O /var/media/ftp/Dokumente/domains.txt
15 3 */7 * * sh -x /etc/init.d/rc.dnsmasq restart

Das wars schon.
Anschließend noch DNSMASQ Starten. Wenn man alles richtig gemacht hat, steht im Syslog auch der entsprechende
Eintrag, dass alle "hostnames" eingelesen wurden

Jan  1 01:00:35 fritz daemon.info dnsmasq[1976]: read /etc/hosts - 2 addresses
Jan  1 01:00:38 fritz daemon.info dnsmasq[1976]: read /var/media/ftp/Dokumente/hostnames.txt - 74376 addresses

Es wäre noch anzumerken, dass man eigentlich auch nur diese eine Blocklist hier benötigt, weil diese
immer ein aktuelles Abbild eines Sammelsuriums verschiedener anderer Blocklists darstellt.

 

[Shirocco88]

dnsmasq[1976]: read /var/media/ftp/Dokumente/hostnames.txt - 74376 addresses

Wieviel Memory/RAM benötigt diese AD-Block-Lösung ?
wie performant ist diese Lösung ? d.h. Antwortzeiten für DNS-Anfragen
Welche Fritzbox-Hardware wird hierfür empfohlen ?

 

[feedzapper]

Bei mir läuft alles auf einer 7560 - im übrigen nutzt "Fresh Tomato" auch diese Adblock Lösung über DNSMASQ.
Zu den Antwortzeiten auf DNS Anfragen kann ich hier auf einer 7560 nichts negatives schreiben ...

Speicherverbrauch auf einer 7560 mit allen eingelesenen Dateien :

 

[Shirocco88]

neben der absoluten Memory-Belegung wäre interessant wieviel Prozent des Memory durch den dnsmasq-Prozess belegt wird ?

top -b -n 1 | sed -n 1,5p
top -b -n 1 | grep dnsmasq
cat /proc/meminfo
cat /proc/swaps

 

[feedzapper]

habe es gerade mal eingegeben :

root@fritz:/var/mod/root# top -b -n 1 | grep dnsmasq
 1976     1 nobody   S    31360  18%   0% dnsmasq --pid-file=/var/run/dnsmasq/dnsmasq.pid -p 53
 9938  9851 root     S     1308   1%   0% {busybox} grep dnsmasq
root@fritz:/var/mod/root# top -b -n 1 | sed -n 1,5p
Mem: 143152K used, 29600K free, 5220K shrd, 15668K buff, 44648K cached
CPU:   3% usr   5% sys   0% nic  90% idle   0% io   0% irq   0% sirq
Load average: 1.22 1.10 1.06 1/135 10039
  PID  PPID USER     STAT   VSZ %VSZ %CPU COMMAND
10038  9851 root     R     1316   1%   6% {busybox} top -b -n 1
root@fritz:/var/mod/root# top -b -n 1 | grep dnsmasq
 1976     1 nobody   S    31360  18%   0% dnsmasq --pid-file=/var/run/dnsmasq/dnsmasq.pid -p 53
10063  9851 root     S     1308   1%   0% {busybox} grep dnsmasq
root@fritz:/var/mod/root# cat /proc/meminfo
MemTotal:         172752 kB
MemFree:           29620 kB
Buffers:           15668 kB
Cached:            44648 kB
SwapCached:            0 kB
Active:            61744 kB
Inactive:          44356 kB
Active(anon):      54052 kB
Inactive(anon):     1964 kB
Active(file):       7692 kB
Inactive(file):    42392 kB
Unevictable:        6728 kB
Mlocked:            6728 kB
SwapTotal:             0 kB
SwapFree:              0 kB
Dirty:                 0 kB
Writeback:             0 kB
AnonPages:         52600 kB
Mapped:            22672 kB
Shmem:              5220 kB
Slab:              18936 kB
SReclaimable:       3960 kB
SUnreclaim:        14976 kB
KernelStack:        2176 kB
PageTables:          848 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:       86376 kB
Committed_AS:      77352 kB
VmallocTotal:     524280 kB
VmallocUsed:        1660 kB
VmallocChunk:     478996 kB
root@fritz:/var/mod/root# cat /proc/swap
cat: can't open '/proc/swap': No such file or directory
root@fritz:/var/mod/root# cat /proc/swaps
Filename                                Type            Size    Used    Priority
root@fritz:/var/mod/root#

 

[Shirocco88]

wie sind die DNS-Antwortzeiten ?

Beispiel einer "low performanten" DNS-Umgebung

# dig www.google.com
Output
; <<>> DiG 9.9.1-P1 <<>> www.google.com
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 39652
;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 1232
;; QUESTION SECTION:
;www.google.com. IN A

;; ANSWER SECTION:
www.google.com. 297 IN A 216.58.210.4

;; Query time: 45 msec
;; WHEN: Sat Mar 16 11:39:35 2019
;; MSG SIZE rcvd: 59

root@fritz:/var/mod/root# top -b -n 1 | grep dnsmasq 1976 1 nobody S 31360 18% 0% dnsmasq

18% des Hauptspeichers bzw. VSZ=31360 ist eine "ordentliche" Zahl,
das wird wohl nichts für altere NOR-Boxen.

 

[prisrak1]

gibts den keine Webung an jedem Gerät im Heimnetz? wie bei pi-hole / squidguard

 

[feedzapper]

Ich habe hier einmal in der Fritzbox Historie nachgeschaut.
Die verwendete FritzBox sollte schon eine mit min. 256MB Ram sein !
Das wäre dann ab den Modellen >= 7490 der Fall + 75XX (außer 7570)

siehe :
http://eisbaer.square7.ch/qwertz/

Tnx erst einmal an "eisbaer" + "qwertz" für die Fakten und den ganzen Aufwand mit der Liste !
Die ARM Modelle haben ja dann auch genügend Rechenleistung um einen Adblock auf Domain Basis ohne Probleme mit zu verarbeiten (so mal im idle) !
Auf einer 7362SL (128MB RAM) + 7430 (128MB RAM) b.z.w. Boxen mit nur 128MB RAM allgemein, stehen die Chancen schlecht, dass der Speicher ausreicht.
Abhängig ist dies natürlich auch immer von den anderen Diensten die man mit der Box parallel noch nutzt z.b. WLAN,DECT,VOIP ...

Yep, "prisak1" das ist ja das feine daran, dass man egal wieviel Rechner man im Netzwerk hat - der Router Adblock gilt für alle im Heimnetzwerk (auch für Smartphones im WLAN Heimnetz) !
OkOk, ob Du nun alle Werbung los wirst kann man nicht versprechen, es ist aber ein guter Ansatz ....

 

[HarryBoo]

@feedzapper :

Anstatt dnsmasq eu zu starten ist das senden von 'SIGHUP' mittels 'killall -HUP dnsmasq'.
Damit erreicht man das dnsmasq seinen Cache leert, die Hosts neu laedt und das No-Timecheck-Flag zuruecksetzt. Dies ist fuer die Leute mit DNSSEQ (welche mit der Option --dnssec-no-timecheck verwenden) wichtig.

Bist Du Dir sicher, dass die Eintraege aus der domains.txt gelesen werden? In dieser Datei sind mehr als 2 Eintraege....
Die Dokumentation sagt zwar: --address=/<domain>[/<domain>...]/[<ipaddr>]
wird in die config eingetragen. Was der Eintrag conf-file=... macht. Aber skeptisch bin ich schon.

In Deinem cron befehl verwendest Du ein Pipe (|) Symbol zum verbinden von 2 Befehlen. ich denke hier waere ein && besser. Besser noch man macht daraus 2 cron Befehle.

 

[feedzapper]

Ja , hatte mich deswegen auch schon gewundert, da dort im syslog nur stand :

Jan  1 01:00:35 fritz daemon.info dnsmasq[1976]: read /etc/hosts - 2 addresses

Dies bezieht sich aber wohl auf die DEFAULT hosts Datei, die beim Starten von dnsmasq automatisch unter /var/tmp generiert wird und folgende zwei Adresseinträge enthält :

127.0.0.1       localhost
192.168.178.1   fritz.box       fritz.nas       fritz.box

Eventuell kann man ja noch mehr debug optionen aktivieren, damit man im SYSLOG noch ein wenig mehr sieht ?
Aber

conf-file=/var/media/ftp/Dokumente/domains.txt

sagt ja eigenlich nur aus, dass die vorhandene dnsmasq.conf noch um die domain Einträge aus dem file domains.txt (tausende Einträge mit "address=") ERGÄNZT wird.
Deshalb mutmaße ich einfach mal das dnsmasq dies auch tut ?
Das mit den CronJobs werde ich bei mir nochmal abändern.

Um noch eine Referenz zu haben :
Bin gerade noch mal fix auf meinen Fresh-Tomato Router und habe dort im SSH
bezüglich Adblock und dnsmasq die dnsmasq.conf überprüft wie es dort gelöst ist.
Die Aufrufe für die Adblock Funktion sind dort identisch. Nur heist der domains.txt File dort dnsmasq.adblock (enthält aber die selben "address=" record Einträge wie domains.txt hier auf der Box)

root@Utopia-Planitia:/tmp/etc# ls -l dnsmasq.*
-rw-r--r--    1 root     root       1493758 Mar 21 02:39 dnsmasq.adblock
-rw-r--r--    1 root     root           888 Mar 21 02:39 dnsmasq.conf
root@Utopia-Planitia:/tmp/etc# more dnsmasq.conf
pid-file=/var/run/dnsmasq.pid
resolv-file=/etc/resolv.dnsmasq
addn-hosts=/etc/dnsmasq
dhcp-hostsfile=/etc/dnsmasq
expand-hosts
min-port=4096
quiet-dhcp
quiet-dhcp6
interface=br0
dhcp-range=tag:br0,192.168.0.60,192.168.0.99,255.255.255.0,1440m
dhcp-option=tag:br0,3,192.168.0.1
dhcp-lease-max=255
dhcp-authoritative
conf-file=/etc/dnsmasq.adblock

Der Tomato Syslog verrät folgendes :

Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: prepare to download ...
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://winhelp2002.mvps.org/hosts.txt
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://adaway.org/hosts.txt
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://www.malwaredomainlist.com/hostslist/hosts.txt
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://pgl.yoyo.org/adservers/serverlist.php?hostformat=hosts&mimetype=plaintext
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://someonewhocares.org/hosts/zero/hosts
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - https://raw.githubusercontent.com/WindowsLies/BlockWindows/master/hosts
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://sysctl.org/cameleon/hosts
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://adblock.gjtech.net/?format=hostfile
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://hostsfile.mine.nu/Hosts
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: [1] downloading blacklist - https://raw.github.com/notracking/hosts-blocklists/master/hostnames.txt
Mar 19 02:39:37 Utopia-Planitia user.info adblock[21392]: ... [1] found 74337 entries
Mar 19 02:39:42 Utopia-Planitia user.info adblock[21392]: activated - 37161 entries

 

[HarryBoo]

Wenn das nur ueber den Eintrag 'conf-file' geht muss doch wieder ein RESTART rein, da die config nur beim Neustart gelesen wird.
Ich habe mal den Entwickler Simon Kelley angeschrieben. Es waere schon shön das ganze ohne Neustart hinzubekommen.
Auch der Speicherverbrauch mit dem Eintrag 'conf-file' ist ziemlich hoch. Nur mit dem ersten Eintrag steigt der Speicherverbrauch nur auf etwa 8MB.

Erstmal Danke fuers Einstellen und Testen.

Sollte ich was vom Entwickler hoeren werde ich mich hier nochmal melden.