Adblock feature für freetz ?

feedzapper

Neuer User
Mitglied seit
28 Jan 2008
Beiträge
110
Punkte für Reaktionen
13
Punkte
18
Das wäre ja auch sehr produktiv für freetz ?!
Ein adblock feature mit MALWARE domain Listen die geblockt werden + autoupdate. Oder gibts sowas schon in einem PACKAGE ?

Latest TOMATO shibby build 1.37 -> adblock feature

Image6.jpg
 

Anhänge

Zuletzt bearbeitet:

chilango79

Aktives Mitglied
Mitglied seit
14 Apr 2010
Beiträge
1,986
Punkte für Reaktionen
52
Punkte
48
Ja. Es gibt diverse host dateien im Internet. Von denen kann man den Text kopieren und in Freetz-Host importieren.
Viele Adserver werden dann nach 127.0.0.1 umgeleitet und verlieren sich im Nirvana
 

JohnDoe42

Aktives Mitglied
Mitglied seit
17 Mrz 2009
Beiträge
1,416
Punkte für Reaktionen
0
Punkte
38
Seit einiger Zeit kann man die Adblock-Listen aus dem namensgleichen Firefox-Addon im Privoxy-Paket einlesen.
 

make

Neuer User
Mitglied seit
15 Feb 2008
Beiträge
123
Punkte für Reaktionen
0
Punkte
16
AdAway (bitte mal die Forumssuche benutzen) kann eine Einstellungsdatei für dnsmasq generieren bzw aktualisieren. Dadurch wird die DNS-Auflösung für AdServer, die aus AdHosts-Listen wie http://winhelp2002.mvps.org/hosts.txt entnommen werden, auf 127.0.0.1 umgebogen.
 

feedzapper

Neuer User
Mitglied seit
28 Jan 2008
Beiträge
110
Punkte für Reaktionen
13
Punkte
18
Danke für die Infos
Werde die dnsmasq Variante mal ausprobieren.
Ich glaube der Adblock bei tomato basiert auch auf dnsmasq ...?!
So als grundlegender Schutz ist das bestimmt nicht verkehrt, wenn z.b. auch noch smartphones am Router eingebucht sind.
Allerdings nutze ich schon hier auf allen Rechnern im Netzwerk "Adblock Plus" als Browser variante.
Dort kann man ja auch Malware Domain Listen abonieren.
 

GokuSS4

Mitglied
Mitglied seit
15 Apr 2008
Beiträge
686
Punkte für Reaktionen
13
Punkte
18

zehensocke

Neuer User
Mitglied seit
7 Jun 2011
Beiträge
58
Punkte für Reaktionen
1
Punkte
8
Oder schau mal nach pi-hole. Wie der Name schon sagt - 'ne Raspel (Jessie) und dann die pi-hole Soft drauf.
Der macht dann DNS - und Requests für adware gehen erst gar nicht raus. Das Teil ist genial und wird regelmässig
aktualisiert....

gerd
 

Beetlejuice

Mitglied
Mitglied seit
2 Feb 2007
Beiträge
251
Punkte für Reaktionen
0
Punkte
0
Regelmäßig aktualisierte Adblock-Listen in diversen Formaten gibts z.B. unter https://pgl.yoyo.org/as/ .
Gleich oben auf der Seite kann man die Listen nach seinen Bedürfnissen anpassen.

Variante für dnsmasq:
Code:
http://pgl.yoyo.org/as/serverlist.php?hostformat=dnsmasq&showintro=0&mimetype=plaintext

Man sollte aber bedenken, dass beispielsweise Mediatheken der Privatsender so dann oft nicht mehr ordentlich funktionieren, da auch deren Werbung blockiert wird.
 

feedzapper

Neuer User
Mitglied seit
28 Jan 2008
Beiträge
110
Punkte für Reaktionen
13
Punkte
18
Man sollte aber bedenken, dass beispielsweise Mediatheken der Privatsender so dann oft nicht mehr ordentlich funktionieren, da auch deren Werbung blockiert wird.
Das ist in der Tat ein großes Problem, auch bei all den großen US TV Sendern wie CBS,NBC,ABC lassen sich mit eingeschaltetem Adblocker teilweise keinerlei Videos mehr abspielen.
Auch mit geladenen "Anti Adblock Killer" Listen
 
Zuletzt bearbeitet:

feedzapper

Neuer User
Mitglied seit
28 Jan 2008
Beiträge
110
Punkte für Reaktionen
13
Punkte
18
Irgendwie war mir danach, nun doch noch einen Adblocker mit minimalem Aufwand auf der Fritzbox + Freetz zu realisieren.
Was wird dafür benötigt ?

1. DNSMASQ
2. WGET mit SSL Unterstützung
3. Der NAS Speicher der Fritzbox (mit ca. 7MB freiem Speicher) intern oder extern

Zunächst lädt man sich hier die entsprechenden Files herunter (domains.txt und hostnames.txt)

https://github.com/notracking/hosts-blocklists

Diese kopiert man sich in den NAS Speicher der Box.
Hier bei mir ist das z.b. /var/media/ftp/Dokumente als Speicherort.
Dann sind im Freetz WebIF nur noch folgende Einträge unter Dnsmasq -> extra vorzunehmen
(mit dem entsprechenden Verweis auf den Speicherort der beiden .txt Dateien) :

Code:
conf-file=/var/media/ftp/Dokumente/domains.txt
addn-hosts=/var/media/ftp/Dokumente/hostnames.txt
Damit das ganze auch aktuell gehalten wird, sind bei mir noch zwei Cronjobs am laufen.
Diese aktualisieren die Dateien alle 7 Tage mit WGET und starten ein paar Minuten später DNSMASQ neu um die aktualisierten Dateien einzulesen.

Code:
10 3 */7 * * wget -q --no-check-certificate https://raw.github.com/notracking/hosts-blocklists/master/hostnames.txt -O /var/media/ftp/Dokumente/hostnames.txt | wget -q --no-check-certificate https://raw.github.com/notracking/hosts-blocklists/master/domains.txt -O /var/media/ftp/Dokumente/domains.txt
15 3 */7 * * sh -x /etc/init.d/rc.dnsmasq restart
Das wars schon.
Anschließend noch DNSMASQ Starten. Wenn man alles richtig gemacht hat, steht im Syslog auch der entsprechende
Eintrag, dass alle "hostnames" eingelesen wurden :)

Code:
Jan  1 01:00:35 fritz daemon.info dnsmasq[1976]: read /etc/hosts - 2 addresses
Jan  1 01:00:38 fritz daemon.info dnsmasq[1976]: read /var/media/ftp/Dokumente/hostnames.txt - 74376 addresses
Es wäre noch anzumerken, dass man eigentlich auch nur diese eine Blocklist hier benötigt, weil diese
immer ein aktuelles Abbild eines Sammelsuriums verschiedener anderer Blocklists darstellt.




 
Zuletzt bearbeitet:

Shirocco88

Aktives Mitglied
Mitglied seit
4 Jan 2016
Beiträge
870
Punkte für Reaktionen
67
Punkte
28
dnsmasq[1976]: read /var/media/ftp/Dokumente/hostnames.txt - 74376 addresses
Wieviel Memory/RAM benötigt diese AD-Block-Lösung ?
wie performant ist diese Lösung ? d.h. Antwortzeiten für DNS-Anfragen
Welche Fritzbox-Hardware wird hierfür empfohlen ?
 

feedzapper

Neuer User
Mitglied seit
28 Jan 2008
Beiträge
110
Punkte für Reaktionen
13
Punkte
18
Bei mir läuft alles auf einer 7560 - im übrigen nutzt "Fresh Tomato" auch diese Adblock Lösung über DNSMASQ.
Zu den Antwortzeiten auf DNS Anfragen kann ich hier auf einer 7560 nichts negatives schreiben ...

Speicherverbrauch auf einer 7560 mit allen eingelesenen Dateien :

Image2.jpg
 

Shirocco88

Aktives Mitglied
Mitglied seit
4 Jan 2016
Beiträge
870
Punkte für Reaktionen
67
Punkte
28
neben der absoluten Memory-Belegung wäre interessant wieviel Prozent des Memory durch den dnsmasq-Prozess belegt wird ?
Code:
top -b -n 1 | sed -n 1,5p
top -b -n 1 | grep dnsmasq
cat /proc/meminfo
cat /proc/swaps
 
Zuletzt bearbeitet:

feedzapper

Neuer User
Mitglied seit
28 Jan 2008
Beiträge
110
Punkte für Reaktionen
13
Punkte
18
habe es gerade mal eingegeben :

Code:
[email protected]:/var/mod/root# top -b -n 1 | grep dnsmasq
 1976     1 nobody   S    31360  18%   0% dnsmasq --pid-file=/var/run/dnsmasq/dnsmasq.pid -p 53
 9938  9851 root     S     1308   1%   0% {busybox} grep dnsmasq
[email protected]:/var/mod/root# top -b -n 1 | sed -n 1,5p
Mem: 143152K used, 29600K free, 5220K shrd, 15668K buff, 44648K cached
CPU:   3% usr   5% sys   0% nic  90% idle   0% io   0% irq   0% sirq
Load average: 1.22 1.10 1.06 1/135 10039
  PID  PPID USER     STAT   VSZ %VSZ %CPU COMMAND
10038  9851 root     R     1316   1%   6% {busybox} top -b -n 1
[email protected]:/var/mod/root# top -b -n 1 | grep dnsmasq
 1976     1 nobody   S    31360  18%   0% dnsmasq --pid-file=/var/run/dnsmasq/dnsmasq.pid -p 53
10063  9851 root     S     1308   1%   0% {busybox} grep dnsmasq
[email protected]:/var/mod/root# cat /proc/meminfo
MemTotal:         172752 kB
MemFree:           29620 kB
Buffers:           15668 kB
Cached:            44648 kB
SwapCached:            0 kB
Active:            61744 kB
Inactive:          44356 kB
Active(anon):      54052 kB
Inactive(anon):     1964 kB
Active(file):       7692 kB
Inactive(file):    42392 kB
Unevictable:        6728 kB
Mlocked:            6728 kB
SwapTotal:             0 kB
SwapFree:              0 kB
Dirty:                 0 kB
Writeback:             0 kB
AnonPages:         52600 kB
Mapped:            22672 kB
Shmem:              5220 kB
Slab:              18936 kB
SReclaimable:       3960 kB
SUnreclaim:        14976 kB
KernelStack:        2176 kB
PageTables:          848 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:       86376 kB
Committed_AS:      77352 kB
VmallocTotal:     524280 kB
VmallocUsed:        1660 kB
VmallocChunk:     478996 kB
[email protected]:/var/mod/root# cat /proc/swap
cat: can't open '/proc/swap': No such file or directory
[email protected]:/var/mod/root# cat /proc/swaps
Filename                                Type            Size    Used    Priority
[email protected]:/var/mod/root#
 
  • Like
Reaktionen: opto

Shirocco88

Aktives Mitglied
Mitglied seit
4 Jan 2016
Beiträge
870
Punkte für Reaktionen
67
Punkte
28
wie sind die DNS-Antwortzeiten ?

Beispiel einer "low performanten" DNS-Umgebung

# dig www.google.com
Output
; <<>> DiG 9.9.1-P1 <<>> www.google.com
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 39652
;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 1232
;; QUESTION SECTION:
;www.google.com. IN A

;; ANSWER SECTION:
www.google.com. 297 IN A 216.58.210.4

;; Query time: 45 msec
;; WHEN: Sat Mar 16 11:39:35 2019
;; MSG SIZE rcvd: 59


[email protected]:/var/mod/root# top -b -n 1 | grep dnsmasq 1976 1 nobody S 31360 18% 0% dnsmasq
18% des Hauptspeichers bzw. VSZ=31360 ist eine "ordentliche" Zahl,
das wird wohl nichts für altere NOR-Boxen.
 

prisrak1

Mitglied
Mitglied seit
14 Mai 2017
Beiträge
279
Punkte für Reaktionen
27
Punkte
28
gibts den keine Webung an jedem Gerät im Heimnetz? wie bei pi-hole / squidguard
 

feedzapper

Neuer User
Mitglied seit
28 Jan 2008
Beiträge
110
Punkte für Reaktionen
13
Punkte
18
Ich habe hier einmal in der Fritzbox Historie nachgeschaut.
Die verwendete FritzBox sollte schon eine mit min. 256MB Ram sein !
Das wäre dann ab den Modellen >= 7490 der Fall + 75XX (außer 7570)

siehe :
http://eisbaer.square7.ch/qwertz/

Tnx erst einmal an "eisbaer" + "qwertz" für die Fakten und den ganzen Aufwand mit der Liste !
Die ARM Modelle haben ja dann auch genügend Rechenleistung um einen Adblock auf Domain Basis ohne Probleme mit zu verarbeiten (so mal im idle) !
Auf einer 7362SL (128MB RAM) + 7430 (128MB RAM) b.z.w. Boxen mit nur 128MB RAM allgemein, stehen die Chancen schlecht, dass der Speicher ausreicht.
Abhängig ist dies natürlich auch immer von den anderen Diensten die man mit der Box parallel noch nutzt z.b. WLAN,DECT,VOIP ...

Yep, "prisak1" das ist ja das feine daran, dass man egal wieviel Rechner man im Netzwerk hat - der Router Adblock gilt für alle im Heimnetzwerk (auch für Smartphones im WLAN Heimnetz) !
OkOk, ob Du nun alle Werbung los wirst kann man nicht versprechen, es ist aber ein guter Ansatz ....
 
Zuletzt bearbeitet:
  • Like
Reaktionen: prisrak1

HarryBoo

Neuer User
Mitglied seit
7 Feb 2017
Beiträge
23
Punkte für Reaktionen
1
Punkte
3
@feedzapper :

Anstatt dnsmasq eu zu starten ist das senden von 'SIGHUP' mittels 'killall -HUP dnsmasq'.
Damit erreicht man das dnsmasq seinen Cache leert, die Hosts neu laedt und das No-Timecheck-Flag zuruecksetzt. Dies ist fuer die Leute mit DNSSEQ (welche mit der Option --dnssec-no-timecheck verwenden) wichtig.

Bist Du Dir sicher, dass die Eintraege aus der domains.txt gelesen werden? In dieser Datei sind mehr als 2 Eintraege....
Die Dokumentation sagt zwar: --address=/<domain>[/<domain>...]/[<ipaddr>]
wird in die config eingetragen. Was der Eintrag conf-file=... macht. Aber skeptisch bin ich schon.

In Deinem cron befehl verwendest Du ein Pipe (|) Symbol zum verbinden von 2 Befehlen. ich denke hier waere ein && besser. Besser noch man macht daraus 2 cron Befehle.
 
Zuletzt bearbeitet:

feedzapper

Neuer User
Mitglied seit
28 Jan 2008
Beiträge
110
Punkte für Reaktionen
13
Punkte
18
Ja , hatte mich deswegen auch schon gewundert, da dort im syslog nur stand :
Code:
Jan  1 01:00:35 fritz daemon.info dnsmasq[1976]: read /etc/hosts - 2 addresses
Dies bezieht sich aber wohl auf die DEFAULT hosts Datei, die beim Starten von dnsmasq automatisch unter /var/tmp generiert wird und folgende zwei Adresseinträge enthält :
Code:
127.0.0.1       localhost
192.168.178.1   fritz.box       fritz.nas       fritz.box
Eventuell kann man ja noch mehr debug optionen aktivieren, damit man im SYSLOG noch ein wenig mehr sieht ?
Aber
Code:
conf-file=/var/media/ftp/Dokumente/domains.txt
sagt ja eigenlich nur aus, dass die vorhandene dnsmasq.conf noch um die domain Einträge aus dem file domains.txt (tausende Einträge mit "address=") ERGÄNZT wird.
Deshalb mutmaße ich einfach mal das dnsmasq dies auch tut ?
Das mit den CronJobs werde ich bei mir nochmal abändern.

Um noch eine Referenz zu haben :
Bin gerade noch mal fix auf meinen Fresh-Tomato Router und habe dort im SSH
bezüglich Adblock und dnsmasq die dnsmasq.conf überprüft wie es dort gelöst ist.
Die Aufrufe für die Adblock Funktion sind dort identisch. Nur heist der domains.txt File dort dnsmasq.adblock (enthält aber die selben "address=" record Einträge wie domains.txt hier auf der Box)
Code:
[email protected]:/tmp/etc# ls -l dnsmasq.*
-rw-r--r--    1 root     root       1493758 Mar 21 02:39 dnsmasq.adblock
-rw-r--r--    1 root     root           888 Mar 21 02:39 dnsmasq.conf
[email protected]:/tmp/etc# more dnsmasq.conf
pid-file=/var/run/dnsmasq.pid
resolv-file=/etc/resolv.dnsmasq
addn-hosts=/etc/dnsmasq
dhcp-hostsfile=/etc/dnsmasq
expand-hosts
min-port=4096
quiet-dhcp
quiet-dhcp6
interface=br0
dhcp-range=tag:br0,192.168.0.60,192.168.0.99,255.255.255.0,1440m
dhcp-option=tag:br0,3,192.168.0.1
dhcp-lease-max=255
dhcp-authoritative
conf-file=/etc/dnsmasq.adblock
Der Tomato Syslog verrät folgendes :
Code:
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: prepare to download ...
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://winhelp2002.mvps.org/hosts.txt
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://adaway.org/hosts.txt
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://www.malwaredomainlist.com/hostslist/hosts.txt
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://pgl.yoyo.org/adservers/serverlist.php?hostformat=hosts&mimetype=plaintext
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://someonewhocares.org/hosts/zero/hosts
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - https://raw.githubusercontent.com/WindowsLies/BlockWindows/master/hosts
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://sysctl.org/cameleon/hosts
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://adblock.gjtech.net/?format=hostfile
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://hostsfile.mine.nu/Hosts
Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: [1] downloading blacklist - https://raw.github.com/notracking/hosts-blocklists/master/hostnames.txt
Mar 19 02:39:37 Utopia-Planitia user.info adblock[21392]: ... [1] found 74337 entries
Mar 19 02:39:42 Utopia-Planitia user.info adblock[21392]: activated - 37161 entries
 
Zuletzt bearbeitet:

HarryBoo

Neuer User
Mitglied seit
7 Feb 2017
Beiträge
23
Punkte für Reaktionen
1
Punkte
3
Wenn das nur ueber den Eintrag 'conf-file' geht muss doch wieder ein RESTART rein, da die config nur beim Neustart gelesen wird.
Ich habe mal den Entwickler Simon Kelley angeschrieben. Es waere schon shön das ganze ohne Neustart hinzubekommen.
Auch der Speicherverbrauch mit dem Eintrag 'conf-file' ist ziemlich hoch. Nur mit dem ersten Eintrag steigt der Speicherverbrauch nur auf etwa 8MB.

Erstmal Danke fuers Einstellen und Testen.

Sollte ich was vom Entwickler hoeren werde ich mich hier nochmal melden.