Request: Umbau der Listen in Host File format

[oe3gwu]

Es gibt sehr viele Ad blocker. Pihole, Adguard, aber auch DNS Server wie Mikrotik Router / Switches. Alle supporten das "echte" Host File Formt. Sprich:

0.0.0.0 www.example.com

Es wär cool von euch diese Listen derartig umzubauen, da ich diese Liste gerne zukünftig auch auf meinen Mikrotik Router einbauen möchte, da mein Pihole definitiv weg kommt.

Danke!

[SGirl-Zockt]

Dann werden die Listen fürs Pi-Hole unbrauchbar und es haut nur Fehler Meldungen raus, aufjedenfall bei mir

[oe3gwu]

@SGirl-Zockt - das kann ich nicht nachvollziehen.

Die Standard Blockliste von Pihole ist ebenfalls in dem Host File Format geschrieben.

https://raw.githubusercontent.com/StevenBlack/hosts/master/hosts

[RPiList]

Hi,

Es gibt sehr viele Ad blocker. Pihole, Adguard, aber auch DNS Server wie Mikrotik Router / Switches. Alle supporten das "echte" Host File Formt. Sprich:

Vertragen die genanten Mikrotik/Router/Switches denn mehrere Listen? Oder geht immer nur eine "hosts" Datei wie unter Microsoft Windows?

Es wär cool von euch diese Listen derartig umzubauen, da ich diese Liste gerne

Ich weiß nicht, ob ein "Umbau" reicht, weil unsere Listen inzw. alle auf das ABP Format umgestellt wurden. D.h. das würde nach dem Umbau dann so aussehen:

0.0.0.0 ||example.com^

Aber eine komplett neue Variante zu erstellen, die das Hosts-Format hat, sollte kein großes Problem sein.

0.0.0.0 example.com fängt ja "nur" IPv4 anfragen ab. Muss dann für IPv6 eine eigene Zeile erstellt werden?

Also:

0.0.0.0 example.com (IPv4) :: example.com (IPv6 lt. ChatGPT)

Das würde die Listen dann direkt mal verdoppeln.

Wie schaut es mit Subdomains aus, auf den o.g. Routern/Switches? Unsere Listen sind alle "getrimmt" worden.

malware.example.com und phishing.example.com und werbung.example.com werden alle mit ||example.com^ geblockt.

Wenn wir jetzt nur noch example.com in die Zeile schreiben, und der Router/Switch die Subdomains nicht automatisch mitblockt, dann sind die Listen von uns mehr oder weniger nutzlos. Denn die Angreifer wählen die Subdomains ja absichtlich so, dass ein Listing unmöglich wird. Z.b. abc.mal.ware.datum-heute.example.com und das Datum ändert sich täglich und deswegen haben alle damit Probleme. Nur Pihole nicht, weil example.com geblockt wird und dass sich die Subdomains täglich ändern, interessiert nicht.

[oe3gwu]

Es werden mehrere Listen supported. Limitierend ist nur der DNS Cache auf den Routern. Also alte schwache Geräte werden eventuell nicht alle Listen komplett laden können.

IPv6 DNS blocking habe ich nicht getestet. Ehrlich, IPv6 ist für mich aktuell kein großes Thema, nachdem es nach 20 Jahren immer noch nicht abgehoben ist! :-)

Getrimmte URL's sind im Hosts Format ein Problem, das wird da nicht unterstützt - soweit mir bekannt ist. Die Ultimate Host Blacklist ist jedenfalls NICHT getrimmt.

zB:

https://raw.githubusercontent.com/Ultimate-Hosts-Blacklist/Ultimate.Hosts.Blacklist/master/hosts/hosts0

Ich kann eure Pihole Listen importieren, er erkennt auch die Zeilen, aber blockieren tut er nichts. Entweder liegt das am RegEx ^ oder an den trimming pipes - ich weis es nicht.

[SGirl-Zockt]

Ich bin dafür, der Sprecher lässt denn Stream Chat im nächsten Stream darüber abstimmen.

Meine Idee wäre noch, eine Version der Mega Liste zu machen welche nach seinen Wünschen mit der 0.0.0.0 an anfang jeder Domian ist

[RPiList]

@SGirl-Zockt - das kann ich nicht nachvollziehen.

Die Standard Blockliste von Pihole ist ebenfalls in dem Host File Format geschrieben.

https://raw.githubusercontent.com/StevenBlack/hosts/master/hosts

@SGirl-Zockt dürfte Recht haben. Die StevenBlack Liste ist wahrscheinlich nicht mal eine Pihole Liste.

Hab da mal reingeschaut und sehe so Einträge wie example.com und www.example.com. Damit wird die Liste (zumindest) fürs Pihole unnötig aufgebläht. Was mich dazu führt, dass die Liste nicht fürs Pihole gedacht ist, sondern für Windows/Linux/Mac. Lt. den Entwicklern des Pihole nutzen die die Liste, weil sie unbedingt eine Liste mit ausliefern "müssen" und die Liste so "zahm" ist, dass sie kein Overblocking drin hat.

Ferner hat er "nur" ein 0.0.0.0 vor den Einträgen.

Vielleicht hat hier jemand mehr Ahnung davon, aber soweit ich das richtig verstanden habe, fragt ein Client (Handy), dass mit IPv6 im Netzwerk unterwegs ist automatisch nach dem AAAA Eintrag für eine Domain. D.h. ist die IPv6 Variante einer IP. Die steht aber in der StevenBlack Liste nicht drin, insoweit funktioniert seine Liste für IPv6 Nutzer überhaupt nicht.

Wundert mich, dass das beim Pihole Team noch niemandem aufgefallen ist. ChatGPT hat meine Meinung bestätigt. Aber auch ChatGPT kann daneben liegen. Und ich natürlich auch :-) Deswegen meine Frage, ob hier jemand mehr Ahnung hat.

[RPiList]

Es werden mehrere Listen supported. Limitierend ist nur der DNS Cache auf den Routern. Also alte schwache Geräte werden eventuell nicht alle Listen komplett laden können.

Also die angepasste Liste für den DNSMASQ (Proxy?) heißt bei uns DNSMASQ. Wie heißt Dein Router damit andere Nutzer die Liste auch erkennen. Oder sollen wir die einfach "Hosts" nennen? Könnten wir auch machen. Ist nur wichtig, dass andere Nutzer es erkennen und dann die richtige Liste wählen.

IPv6 DNS blocking habe ich nicht getestet. Ehrlich, IPv6 ist für mich aktuell kein großes Thema, nachdem es nach 20 Jahren immer noch nicht abgehoben ist! :-)

Wenn man mehrere Listen importieren kann, könnten wir einzelne Listen für IPv4 und IPv6 anbieten.

Getrimmte URL's sind im Hosts Format ein Problem, das wird da nicht unterstützt - soweit mir bekannt ist. Die Ultimate Host Blacklist ist jedenfalls NICHT getrimmt.

Also unter "trimmen" verstehe ich, dass wir z.B. das "www." weglassen. Das können wir auch nicht mehr rückgängig machen. Wenn Mikrotik damit ein Problem hat, dann am Besten bei den Entwicklern melden, dass die ihr System mal aufs 21. Jahrhundert bringen. :-)

Denn es geht ja um "Blocklisten". Und wenn der Nutzer malware.com blocken will, dann will er nicht, dass auf schadware.malware.com trotzdem zugegriffen werden kann.

Ich kann eure Pihole Listen importieren, er erkennt auch die Zeilen, aber blockieren tut er nichts. Entweder liegt das am RegEx ^ oder an den trimming pipes - ich weis es nicht.

Das wird an den RegEx Befehlen liegen. Er erkennt die IP zw. den RegEx Befehlen nicht.

Also:

Listen im Hosts-Format anzubieten ist kein Problem. Wir können auch nach IPv4 und IPv6 unterscheiden. Diejenigen die nur IPv4 im LAN haben, importieren dann nur die IPv4 Listen. Wer beide Varianten im LAN unterstützt muss beide Listen importieren.

Aber die Listen sind unscharf. Schadware, Phishing, DomainSquatting... die verstecken sich alle gerne in "kryptischen" Subdomains, die mit der Hosts File nicht gefunden werden. Klar kann man sagen, dass eine halb nutzlose Datei immer noch halb nützlich ist. Aber bei Schadware, Phishing und Co. hat man eigentlich höhere Ansprüche.

Deswegen: Ab ins Forum oder Discord der Entwickler und denen sagen, dass die tolle Software mit den ganzen tollen Blocklisten im Internet nichts mehr anfangen kann und das deren Router damit "unsicher" ist. Das dürfte denen nicht gefallen. :-)

Das können die in ihrer Firmware auch ganz einfach umsetzen. Anstatt einer 100% Übereinstimmung der Domain sucht man in der Software nach einer 100% Übereinstimmung von "Rechts-nach-Links".

D.h. virus.malware.com triggert den malware.com Block, weil malware.com von hinten gelesen in der Domain ist.

[oe3gwu]

Meine Router sind Mikrotik RB5009 und L009. Man könnte es aber generell für Mikrotik RouterOS branden.

Ich werde mal mit den Entwickerln Kontakt aufnehmen. Danke!

[RPiList]

Ich bin dafür, der Sprecher lässt denn Stream Chat im nächsten Stream darüber abstimmen.

Der Aufwand ist nicht hoch. Frage ist ob der Nutzern da ist, wenn die Listen "unscharf" sind.

Meine Idee wäre noch, eine Version der Mega Liste zu machen welche nach seinen Wünschen mit der 0.0.0.0 an anfang jeder Domian ist

Die Idee der Mega-Liste hatten wir schon mal, mussten wir aber verwerfen. Die wäre sehr groß (z.B. durch die Banken DomainSquatting-Listen). Aber niemand braucht sich vor 20 Mio Einträgen zu schützen, weil er nur bei einer Bank ist. D.h. man sich mit Auswählen der Banken in seinem Wohnsitz-Bundesland 90% der Einträge gespart.

Oder Porn. Ein Mega-List hätte auch die Porn-Seiten drin. Aber es soll Leute geben, die auf die Porn-Seiten zugreifen wollen. (Shocking... ich weiß... :-)

D.h. jetzt haben wir schon 4 verschiedene Mega-Lists. Einmal mit/ohne Porn, mit/ohne Banken usw... usf...

Dafür haben wir das Mega-List Skript. Da kann sich mit auskommentieren, jeder seine Liste selbst erstellen.

[oe3gwu]

@SGirl-Zockt - das kann ich nicht nachvollziehen. Die Standard Blockliste von Pihole ist ebenfalls in dem Host File Format geschrieben. https://raw.githubusercontent.com/StevenBlack/hosts/master/hosts

@SGirl-Zockt dürfte Recht haben. Die StevenBlack Liste ist wahrscheinlich nicht mal eine Pihole Liste.

Hab da mal reingeschaut und sehe so Einträge wie example.com und www.example.com. Damit wird die Liste (zumindest) fürs Pihole unnötig aufgebläht. Was mich dazu führt, dass die Liste nicht fürs Pihole gedacht ist, sondern für Windows/Linux/Mac. Lt. den Entwicklern des Pihole nutzen die die Liste, weil sie unbedingt eine Liste mit ausliefern "müssen" und die Liste so "zahm" ist, dass sie kein Overblocking drin hat.

Ferner hat er "nur" ein 0.0.0.0 vor den Einträgen.

Vielleicht hat hier jemand mehr Ahnung davon, aber soweit ich das richtig verstanden habe, fragt ein Client (Handy), dass mit IPv6 im Netzwerk unterwegs ist automatisch nach dem AAAA Eintrag für eine Domain. D.h. ist die IPv6 Variante einer IP. Die steht aber in der StevenBlack Liste nicht drin, insoweit funktioniert seine Liste für IPv6 Nutzer überhaupt nicht.

Wundert mich, dass das beim Pihole Team noch niemandem aufgefallen ist. ChatGPT hat meine Meinung bestätigt. Aber auch ChatGPT kann daneben liegen. Und ich natürlich auch :-) Deswegen meine Frage, ob hier jemand mehr Ahnung hat.

Hab grad nochmal geprüft. Diese oben genannte Liste ist bei einer neuen Pihole Installation bei mir automatisch deployed.

[RPiList]

Hab grad nochmal geprüft. Diese oben genannte Liste ist bei einer neuen Pihole Installation bei mir automatisch deployed.

Ja, das war nicht gemeint, als ich sagte, es sei keine "Pihole-Liste". Ich meinte, dass Pihole einfach hingegangen ist und eine Hosts-Liste genommen hat, die man im Internet gefunden hat.

Weil eine Pihole Liste die vorangestellten 0.0.0.0 nicht braucht. Aber als das Pihole Projekt angefangen hat, gab es natürlich noch keine Pihole Listen.

[RPiList]

Habe jetzt mal die Listen convertiert. Bitte mal testen. Ob der Pfad zu den Dateien so bleibt weiß ich selbst noch nicht. Bin mir nicht sicher ob der Name "breit" genug gewählt ist. Viele Grüße

[oe3gwu]

Ich hab die Listen auf meinen Testsystem importiert, und die Ersten Blocks sind schon da. Scheint zu funktionieren.

Danke

Sobald ich eine Info habe wegen Regex und Trimming von den Devs gebe ich euch eine Info.

My post on their Forums: https://forum.mikrotik.com/viewtopic.php?t=209178