.titleBar { margin-bottom: 5px!important; }

Adblock feature für freetz ?

Dieses Thema im Forum "Freetz" wurde erstellt von feedzapper, 4 Juli 2016.

  1. feedzapper

    feedzapper Neuer User

    Registriert seit:
    28 Jan. 2008
    Beiträge:
    83
    Zustimmungen:
    7
    Punkte für Erfolge:
    8
    #1 feedzapper, 4 Juli 2016
    Zuletzt bearbeitet: 4 Juli 2016
    Das wäre ja auch sehr produktiv für freetz ?!
    Ein adblock feature mit MALWARE domain Listen die geblockt werden + autoupdate. Oder gibts sowas schon in einem PACKAGE ?

    Latest TOMATO shibby build 1.37 -> adblock feature

    Image6.jpg
     

    Anhänge:

  2. chilango79

    chilango79 Aktives Mitglied

    Registriert seit:
    14 Apr. 2010
    Beiträge:
    1,877
    Zustimmungen:
    37
    Punkte für Erfolge:
    48
    Ja. Es gibt diverse host dateien im Internet. Von denen kann man den Text kopieren und in Freetz-Host importieren.
    Viele Adserver werden dann nach 127.0.0.1 umgeleitet und verlieren sich im Nirvana
     
  3. JohnDoe42

    JohnDoe42 Aktives Mitglied

    Registriert seit:
    17 März 2009
    Beiträge:
    1,403
    Zustimmungen:
    0
    Punkte für Erfolge:
    38
    Seit einiger Zeit kann man die Adblock-Listen aus dem namensgleichen Firefox-Addon im Privoxy-Paket einlesen.
     
  4. make

    make Neuer User

    Registriert seit:
    15 Feb. 2008
    Beiträge:
    123
    Zustimmungen:
    0
    Punkte für Erfolge:
    16
    Ort:
    Berlin
    AdAway (bitte mal die Forumssuche benutzen) kann eine Einstellungsdatei für dnsmasq generieren bzw aktualisieren. Dadurch wird die DNS-Auflösung für AdServer, die aus AdHosts-Listen wie http://winhelp2002.mvps.org/hosts.txt entnommen werden, auf 127.0.0.1 umgebogen.
     
  5. feedzapper

    feedzapper Neuer User

    Registriert seit:
    28 Jan. 2008
    Beiträge:
    83
    Zustimmungen:
    7
    Punkte für Erfolge:
    8
    Danke für die Infos
    Werde die dnsmasq Variante mal ausprobieren.
    Ich glaube der Adblock bei tomato basiert auch auf dnsmasq ...?!
    So als grundlegender Schutz ist das bestimmt nicht verkehrt, wenn z.b. auch noch smartphones am Router eingebucht sind.
    Allerdings nutze ich schon hier auf allen Rechnern im Netzwerk "Adblock Plus" als Browser variante.
    Dort kann man ja auch Malware Domain Listen abonieren.
     
  6. GokuSS4

    GokuSS4 Mitglied

    Registriert seit:
    15 Apr. 2008
    Beiträge:
    661
    Zustimmungen:
    10
    Punkte für Erfolge:
    18
    Ort:
    Achim
  7. zehensocke

    zehensocke Neuer User

    Registriert seit:
    7 Juni 2011
    Beiträge:
    55
    Zustimmungen:
    1
    Punkte für Erfolge:
    8
    Beruf:
    Rentner
    Ort:
    Sud Gironde
    Oder schau mal nach pi-hole. Wie der Name schon sagt - 'ne Raspel (Jessie) und dann die pi-hole Soft drauf.
    Der macht dann DNS - und Requests für adware gehen erst gar nicht raus. Das Teil ist genial und wird regelmässig
    aktualisiert....

    gerd
     
  8. Beetlejuice

    Beetlejuice Mitglied

    Registriert seit:
    2 Feb. 2007
    Beiträge:
    251
    Zustimmungen:
    0
    Punkte für Erfolge:
    0
    Ort:
    Niederrhein
    Regelmäßig aktualisierte Adblock-Listen in diversen Formaten gibts z.B. unter https://pgl.yoyo.org/as/ .
    Gleich oben auf der Seite kann man die Listen nach seinen Bedürfnissen anpassen.

    Variante für dnsmasq:
    Code:
    http://pgl.yoyo.org/as/serverlist.php?hostformat=dnsmasq&showintro=0&mimetype=plaintext

    Man sollte aber bedenken, dass beispielsweise Mediatheken der Privatsender so dann oft nicht mehr ordentlich funktionieren, da auch deren Werbung blockiert wird.
     
  9. feedzapper

    feedzapper Neuer User

    Registriert seit:
    28 Jan. 2008
    Beiträge:
    83
    Zustimmungen:
    7
    Punkte für Erfolge:
    8
    #9 feedzapper, 7 Juli 2016
    Zuletzt bearbeitet: 7 Juli 2016
    Das ist in der Tat ein großes Problem, auch bei all den großen US TV Sendern wie CBS,NBC,ABC lassen sich mit eingeschaltetem Adblocker teilweise keinerlei Videos mehr abspielen.
    Auch mit geladenen "Anti Adblock Killer" Listen
     
  10. feedzapper

    feedzapper Neuer User

    Registriert seit:
    28 Jan. 2008
    Beiträge:
    83
    Zustimmungen:
    7
    Punkte für Erfolge:
    8
    #10 feedzapper, 16 März 2019
    Zuletzt bearbeitet: 16 März 2019
    Irgendwie war mir danach, nun doch noch einen Adblocker mit minimalem Aufwand auf der Fritzbox + Freetz zu realisieren.
    Was wird dafür benötigt ?

    1. DNSMASQ
    2. WGET mit SSL Unterstützung
    3. Der NAS Speicher der Fritzbox (mit ca. 7MB freiem Speicher) intern oder extern

    Zunächst lädt man sich hier die entsprechenden Files herunter (domains.txt und hostnames.txt)

    https://github.com/notracking/hosts-blocklists

    Diese kopiert man sich in den NAS Speicher der Box.
    Hier bei mir ist das z.b. /var/media/ftp/Dokumente als Speicherort.
    Dann sind im Freetz WebIF nur noch folgende Einträge unter Dnsmasq -> extra vorzunehmen
    (mit dem entsprechenden Verweis auf den Speicherort der beiden .txt Dateien) :

    Code:
    conf-file=/var/media/ftp/Dokumente/domains.txt
    addn-hosts=/var/media/ftp/Dokumente/hostnames.txt
    Damit das ganze auch aktuell gehalten wird, sind bei mir noch zwei Cronjobs am laufen.
    Diese aktualisieren die Dateien alle 7 Tage mit WGET und starten ein paar Minuten später DNSMASQ neu um die aktualisierten Dateien einzulesen.

    Code:
    10 3 */7 * * wget -q --no-check-certificate https://raw.github.com/notracking/hosts-blocklists/master/hostnames.txt -O /var/media/ftp/Dokumente/hostnames.txt | wget -q --no-check-certificate https://raw.github.com/notracking/hosts-blocklists/master/domains.txt -O /var/media/ftp/Dokumente/domains.txt
    15 3 */7 * * sh -x /etc/init.d/rc.dnsmasq restart
    Das wars schon.
    Anschließend noch DNSMASQ Starten. Wenn man alles richtig gemacht hat, steht im Syslog auch der entsprechende
    Eintrag, dass alle "hostnames" eingelesen wurden :)

    Code:
    Jan  1 01:00:35 fritz daemon.info dnsmasq[1976]: read /etc/hosts - 2 addresses
    Jan  1 01:00:38 fritz daemon.info dnsmasq[1976]: read /var/media/ftp/Dokumente/hostnames.txt - 74376 addresses
    Es wäre noch anzumerken, dass man eigentlich auch nur diese eine Blocklist hier benötigt, weil diese
    immer ein aktuelles Abbild eines Sammelsuriums verschiedener anderer Blocklists darstellt.




     
  11. Shirocco88

    Shirocco88 Aktives Mitglied

    Registriert seit:
    4 Jan. 2016
    Beiträge:
    870
    Zustimmungen:
    66
    Punkte für Erfolge:
    28
    Wieviel Memory/RAM benötigt diese AD-Block-Lösung ?
    wie performant ist diese Lösung ? d.h. Antwortzeiten für DNS-Anfragen
    Welche Fritzbox-Hardware wird hierfür empfohlen ?
     
  12. feedzapper

    feedzapper Neuer User

    Registriert seit:
    28 Jan. 2008
    Beiträge:
    83
    Zustimmungen:
    7
    Punkte für Erfolge:
    8
    Bei mir läuft alles auf einer 7560 - im übrigen nutzt "Fresh Tomato" auch diese Adblock Lösung über DNSMASQ.
    Zu den Antwortzeiten auf DNS Anfragen kann ich hier auf einer 7560 nichts negatives schreiben ...

    Speicherverbrauch auf einer 7560 mit allen eingelesenen Dateien :

    Image2.jpg
     
  13. Shirocco88

    Shirocco88 Aktives Mitglied

    Registriert seit:
    4 Jan. 2016
    Beiträge:
    870
    Zustimmungen:
    66
    Punkte für Erfolge:
    28
    #13 Shirocco88, 16 März 2019
    Zuletzt bearbeitet: 16 März 2019
    neben der absoluten Memory-Belegung wäre interessant wieviel Prozent des Memory durch den dnsmasq-Prozess belegt wird ?
    Code:
    top -b -n 1 | sed -n 1,5p
    top -b -n 1 | grep dnsmasq
    cat /proc/meminfo
    cat /proc/swaps
     
  14. feedzapper

    feedzapper Neuer User

    Registriert seit:
    28 Jan. 2008
    Beiträge:
    83
    Zustimmungen:
    7
    Punkte für Erfolge:
    8
    habe es gerade mal eingegeben :

    Code:
    [email protected]:/var/mod/root# top -b -n 1 | grep dnsmasq
     1976     1 nobody   S    31360  18%   0% dnsmasq --pid-file=/var/run/dnsmasq/dnsmasq.pid -p 53
     9938  9851 root     S     1308   1%   0% {busybox} grep dnsmasq
    [email protected]:/var/mod/root# top -b -n 1 | sed -n 1,5p
    Mem: 143152K used, 29600K free, 5220K shrd, 15668K buff, 44648K cached
    CPU:   3% usr   5% sys   0% nic  90% idle   0% io   0% irq   0% sirq
    Load average: 1.22 1.10 1.06 1/135 10039
      PID  PPID USER     STAT   VSZ %VSZ %CPU COMMAND
    10038  9851 root     R     1316   1%   6% {busybox} top -b -n 1
    [email protected]:/var/mod/root# top -b -n 1 | grep dnsmasq
     1976     1 nobody   S    31360  18%   0% dnsmasq --pid-file=/var/run/dnsmasq/dnsmasq.pid -p 53
    10063  9851 root     S     1308   1%   0% {busybox} grep dnsmasq
    [email protected]:/var/mod/root# cat /proc/meminfo
    MemTotal:         172752 kB
    MemFree:           29620 kB
    Buffers:           15668 kB
    Cached:            44648 kB
    SwapCached:            0 kB
    Active:            61744 kB
    Inactive:          44356 kB
    Active(anon):      54052 kB
    Inactive(anon):     1964 kB
    Active(file):       7692 kB
    Inactive(file):    42392 kB
    Unevictable:        6728 kB
    Mlocked:            6728 kB
    SwapTotal:             0 kB
    SwapFree:              0 kB
    Dirty:                 0 kB
    Writeback:             0 kB
    AnonPages:         52600 kB
    Mapped:            22672 kB
    Shmem:              5220 kB
    Slab:              18936 kB
    SReclaimable:       3960 kB
    SUnreclaim:        14976 kB
    KernelStack:        2176 kB
    PageTables:          848 kB
    NFS_Unstable:          0 kB
    Bounce:                0 kB
    WritebackTmp:          0 kB
    CommitLimit:       86376 kB
    Committed_AS:      77352 kB
    VmallocTotal:     524280 kB
    VmallocUsed:        1660 kB
    VmallocChunk:     478996 kB
    [email protected]:/var/mod/root# cat /proc/swap
    cat: can't open '/proc/swap': No such file or directory
    [email protected]:/var/mod/root# cat /proc/swaps
    Filename                                Type            Size    Used    Priority
    [email protected]:/var/mod/root#
    
     
    opto gefällt das.
  15. Shirocco88

    Shirocco88 Aktives Mitglied

    Registriert seit:
    4 Jan. 2016
    Beiträge:
    870
    Zustimmungen:
    66
    Punkte für Erfolge:
    28
    wie sind die DNS-Antwortzeiten ?

    Beispiel einer "low performanten" DNS-Umgebung

    # dig www.google.com
    Output
    ; <<>> DiG 9.9.1-P1 <<>> www.google.com
    ;; global options: +cmd
    ;; Got answer:
    ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 39652
    ;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1

    ;; OPT PSEUDOSECTION:
    ; EDNS: version: 0, flags:; udp: 1232
    ;; QUESTION SECTION:
    ;www.google.com. IN A

    ;; ANSWER SECTION:
    www.google.com. 297 IN A 216.58.210.4

    ;; Query time: 45 msec
    ;; WHEN: Sat Mar 16 11:39:35 2019
    ;; MSG SIZE rcvd: 59


    18% des Hauptspeichers bzw. VSZ=31360 ist eine "ordentliche" Zahl,
    das wird wohl nichts für altere NOR-Boxen.
     
  16. prisrak1

    prisrak1 Neuer User

    Registriert seit:
    14 Mai 2017
    Beiträge:
    148
    Zustimmungen:
    16
    Punkte für Erfolge:
    18
    gibts den keine Webung an jedem Gerät im Heimnetz? wie bei pi-hole / squidguard
     
  17. feedzapper

    feedzapper Neuer User

    Registriert seit:
    28 Jan. 2008
    Beiträge:
    83
    Zustimmungen:
    7
    Punkte für Erfolge:
    8
    #17 feedzapper, 17 März 2019
    Zuletzt bearbeitet: 12 Apr. 2019
    Ich habe hier einmal in der Fritzbox Historie nachgeschaut.
    Die verwendete FritzBox sollte schon eine mit min. 256MB Ram sein !
    Das wäre dann ab den Modellen >= 7490 der Fall + 75XX (außer 7570)

    siehe :
    http://eisbaer.square7.ch/qwertz/

    Tnx erst einmal an "eisbaer" + "qwertz" für die Fakten und den ganzen Aufwand mit der Liste !
    Die ARM Modelle haben ja dann auch genügend Rechenleistung um einen Adblock auf Domain Basis ohne Probleme mit zu verarbeiten (so mal im idle) !
    Auf einer 7362SL (128MB RAM) + 7430 (128MB RAM) b.z.w. Boxen mit nur 128MB RAM allgemein, stehen die Chancen schlecht, dass der Speicher ausreicht.
    Abhängig ist dies natürlich auch immer von den anderen Diensten die man mit der Box parallel noch nutzt z.b. WLAN,DECT,VOIP ...

    Yep, "prisak1" das ist ja das feine daran, dass man egal wieviel Rechner man im Netzwerk hat - der Router Adblock gilt für alle im Heimnetzwerk (auch für Smartphones im WLAN Heimnetz) !
    OkOk, ob Du nun alle Werbung los wirst kann man nicht versprechen, es ist aber ein guter Ansatz ....
     
    prisrak1 gefällt das.
  18. HarryBoo

    HarryBoo Neuer User

    Registriert seit:
    7 Feb. 2017
    Beiträge:
    23
    Zustimmungen:
    1
    Punkte für Erfolge:
    3
    #18 HarryBoo, 21 März 2019
    Zuletzt bearbeitet: 22 März 2019
    @feedzapper :

    Anstatt dnsmasq eu zu starten ist das senden von 'SIGHUP' mittels 'killall -HUP dnsmasq'.
    Damit erreicht man das dnsmasq seinen Cache leert, die Hosts neu laedt und das No-Timecheck-Flag zuruecksetzt. Dies ist fuer die Leute mit DNSSEQ (welche mit der Option --dnssec-no-timecheck verwenden) wichtig.

    Bist Du Dir sicher, dass die Eintraege aus der domains.txt gelesen werden? In dieser Datei sind mehr als 2 Eintraege....
    Die Dokumentation sagt zwar: --address=/<domain>[/<domain>...]/[<ipaddr>]
    wird in die config eingetragen. Was der Eintrag conf-file=... macht. Aber skeptisch bin ich schon.

    In Deinem cron befehl verwendest Du ein Pipe (|) Symbol zum verbinden von 2 Befehlen. ich denke hier waere ein && besser. Besser noch man macht daraus 2 cron Befehle.
     
  19. feedzapper

    feedzapper Neuer User

    Registriert seit:
    28 Jan. 2008
    Beiträge:
    83
    Zustimmungen:
    7
    Punkte für Erfolge:
    8
    #19 feedzapper, 22 März 2019
    Zuletzt bearbeitet: 22 März 2019
    Ja , hatte mich deswegen auch schon gewundert, da dort im syslog nur stand :
    Code:
    Jan  1 01:00:35 fritz daemon.info dnsmasq[1976]: read /etc/hosts - 2 addresses
    Dies bezieht sich aber wohl auf die DEFAULT hosts Datei, die beim Starten von dnsmasq automatisch unter /var/tmp generiert wird und folgende zwei Adresseinträge enthält :
    Code:
    127.0.0.1       localhost
    192.168.178.1   fritz.box       fritz.nas       fritz.box
    Eventuell kann man ja noch mehr debug optionen aktivieren, damit man im SYSLOG noch ein wenig mehr sieht ?
    Aber
    Code:
    conf-file=/var/media/ftp/Dokumente/domains.txt
    sagt ja eigenlich nur aus, dass die vorhandene dnsmasq.conf noch um die domain Einträge aus dem file domains.txt (tausende Einträge mit "address=") ERGÄNZT wird.
    Deshalb mutmaße ich einfach mal das dnsmasq dies auch tut ?
    Das mit den CronJobs werde ich bei mir nochmal abändern.

    Um noch eine Referenz zu haben :
    Bin gerade noch mal fix auf meinen Fresh-Tomato Router und habe dort im SSH
    bezüglich Adblock und dnsmasq die dnsmasq.conf überprüft wie es dort gelöst ist.
    Die Aufrufe für die Adblock Funktion sind dort identisch. Nur heist der domains.txt File dort dnsmasq.adblock (enthält aber die selben "address=" record Einträge wie domains.txt hier auf der Box)
    Code:
    [email protected]:/tmp/etc# ls -l dnsmasq.*
    -rw-r--r--    1 root     root       1493758 Mar 21 02:39 dnsmasq.adblock
    -rw-r--r--    1 root     root           888 Mar 21 02:39 dnsmasq.conf
    [email protected]:/tmp/etc# more dnsmasq.conf
    pid-file=/var/run/dnsmasq.pid
    resolv-file=/etc/resolv.dnsmasq
    addn-hosts=/etc/dnsmasq
    dhcp-hostsfile=/etc/dnsmasq
    expand-hosts
    min-port=4096
    quiet-dhcp
    quiet-dhcp6
    interface=br0
    dhcp-range=tag:br0,192.168.0.60,192.168.0.99,255.255.255.0,1440m
    dhcp-option=tag:br0,3,192.168.0.1
    dhcp-lease-max=255
    dhcp-authoritative
    conf-file=/etc/dnsmasq.adblock
    Der Tomato Syslog verrät folgendes :
    Code:
    Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: prepare to download ...
    Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://winhelp2002.mvps.org/hosts.txt
    Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://adaway.org/hosts.txt
    Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://www.malwaredomainlist.com/hostslist/hosts.txt
    Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://pgl.yoyo.org/adservers/serverlist.php?hostformat=hosts&mimetype=plaintext
    Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://someonewhocares.org/hosts/zero/hosts
    Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - https://raw.githubusercontent.com/WindowsLies/BlockWindows/master/hosts
    Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://sysctl.org/cameleon/hosts
    Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://adblock.gjtech.net/?format=hostfile
    Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: skip disabled blacklist - http://hostsfile.mine.nu/Hosts
    Mar 19 02:39:30 Utopia-Planitia user.info adblock[21392]: [1] downloading blacklist - https://raw.github.com/notracking/hosts-blocklists/master/hostnames.txt
    Mar 19 02:39:37 Utopia-Planitia user.info adblock[21392]: ... [1] found 74337 entries
    Mar 19 02:39:42 Utopia-Planitia user.info adblock[21392]: activated - 37161 entries
     
  20. HarryBoo

    HarryBoo Neuer User

    Registriert seit:
    7 Feb. 2017
    Beiträge:
    23
    Zustimmungen:
    1
    Punkte für Erfolge:
    3
    Wenn das nur ueber den Eintrag 'conf-file' geht muss doch wieder ein RESTART rein, da die config nur beim Neustart gelesen wird.
    Ich habe mal den Entwickler Simon Kelley angeschrieben. Es waere schon shön das ganze ohne Neustart hinzubekommen.
    Auch der Speicherverbrauch mit dem Eintrag 'conf-file' ist ziemlich hoch. Nur mit dem ersten Eintrag steigt der Speicherverbrauch nur auf etwa 8MB.

    Erstmal Danke fuers Einstellen und Testen.

    Sollte ich was vom Entwickler hoeren werde ich mich hier nochmal melden.