search

MajkiIT / polish-ads-filter

CertyficateIT - Oficjalne polskie filtry do Adblock, uBlock Origin, Adguard
Other
672 stars 93 forks source link

błędy konwersji do formatu privoxy a prawidłowość reguł #8060

Closed wmyrda closed 6 years ago

wmyrda commented 6 years ago

Adblock2privoxy wyrzucił m.in. poniższe błędy konwersji. Nie do końca wiem co mu może przeszkadzać w pierwszej linii, ale czy spacja w drugiej jest konieczna? # pomiędzy domenami w trzeciej linii nie jest również nadmiarowy?

ERROR: ||interia.pl/#utm_source$popup,domain=cdaction.pl (adblock.txt: 3021) - Record type detection failed
ERROR: mybank.pl,wzory-cv.com ##.adsbygoogle (adblock.txt: 3661) - Record type detection failed
ERROR: szczecinek.com#,sklep.hard-pc.pl#.social (adblock_social_list.txt: 2008)
ERROR: liga-ursus.siatkowka.org/###widget_sp_image-2 (easylistpolish.txt: 2833)

4 linia z easlilist również dziwna, ale pozwala sądzić, że tak jak i w pierwszej mogło by się obyć bez /

krystian3w commented 6 years ago
wmyrda commented 6 years ago

Jak adblock2privoxy wyrzuca error to znaczy, że daną regułę całkowicie pominął gdyż nie potrafił jej zinterpretować (niedoskonałości konwertera lub błędne reguły) także na pewno do reguł privoxy nie została ona dodana. Mimo braku tej reguły na Interii żadne okienka mnie nie wyskakują , ale bardziej mnie zastanawia co mogło się konwerterowi tu nie spodobać i jak patrze to nigdzie więcej nie powtarza się reguła która miała by zapis /# więc może tu też powinno być bez /?

Inna sprawa, że może dobrze że nie skorzystał z tej reguły gdyż póki co działa to tak, że dość mocno je skraca i np. ||bit.ly/2$popup,domain=mmorpg.org.pl (pl_adblock.txt: 2909) zapisał jako .bit.ly/2 Jak rozumiem intencją tej reguły jest by na bit.ly nie pojawiały się wyskakujące okienka z mmorpg.org.pl. Jak widać działanie konwertera jest o tyle niedoskonałe, że zablokuje wszystko co ma w linku .bit.ly/2.

W sumie fajnie, że konwerter wyłapał jednak faktyczne błędy i jak by co to więcej jest tu w tym ERROR: bryk.pl,zvami.tv,debica24.eu,telewizjazary.pl,korsokolbuszowskie.pl,kociewiak.pl,cooltura24.co.uk,portalpomorza.pl,tvobiektyw.pl,debica24.eu,echotygodnik.info#[class^="advert-"] (adblock.txt: 485) - Record type detection failed Nie powinno tam przypadkiem być ## zamiast #?

krystian3w commented 6 years ago

np. ||bit.ly/2$popup,domain=mmorpg.org.pl (pl_adblock.txt: 2909) zapisał jako .bit.ly/2 Jak rozumiem intencją tej reguły jest by na bit.ly nie pojawiały się wyskakujące okienka z mmorpg.org.pl

Nie. By blokowała na mmorpg.org.pl linki co wymuszają otwarcie się w nowej karcie / wyskakujące okienka do bit.ly/2.

Tak w tej długiej:

ERROR: bryk.pl,zvami.tv,debica24.eu,telewizjazary.pl,korsokolbuszowskie.pl,kociewiak.pl,cooltura24.co.uk,portalpomorza.pl,tvobiektyw.pl,debica24.eu,echotygodnik.info#[class^="advert-"] (adblock.txt: 485) - Record type detection failed

powinny być dwa hashe (##) inaczej nie wytnie reklam w serwisach.

Opcjonalnie małpa i hash (@#) jak na tylu stronach generowała komunikat o wykryciu adblock czy psuła stronę.

Ale jej uBlock Origin nie wykrywa - chyba poprawiona lub zbieżność nazw adblock.txt.

hawkeye116477 commented 6 years ago

@MajkiIT Jezeli chodzi o Social, to to już zostało naprawione po mergu :smile:.

krystian3w commented 6 years ago

Inne bugi social / cookies też jakie może by wyłapało też privoxy.

wmyrda commented 6 years ago

jeśli mowa o innych błędach to nim się zarejestruje na forum naszych przyjaciół zza wschodniej granicy i ich o to spytam to może mnie ktoś wytłumaczyć o co chodzi z tą kropką do domenie kraju? np. 062.in.ua,062.in.ua.###socialpopup (ru_advblock.txt: 18612) Dwa razy się im wkleiło czy jak?

krystian3w commented 6 years ago

Jakiś kolejny błąd jak w EasyList z tym ukośnikiem? Możesz do nich zgłosić jak są otwarci na zgłoszenia.

xxcriticxx commented 6 years ago

@wmyrda po co tobie tyle list z eu?

krystian3w commented 6 years ago

Może za bardzo pomaga w rozwijaniu privoxy albo naleciałość z adugarda - ten w wersji jako dodatek umie włączyć każdy kraj jak raz wejdziemy na stronę z tamtego regionu i potem inne strony nie działają przez nią.

xxcriticxx commented 6 years ago

wlaczyl specjalnie na mistrzostwa swiata w Rosji

wmyrda commented 6 years ago

@xxcriticxx podoba mnie się rozwiązanie sieciowe oparte na privoxy, gdyż ma potencjał. Przynajmniej teoretycznie każdy by mógł mieć u siebie jakieś rasberry czy coś na którym to stoi tak by ruch przez to ze swoich urządzeń puszczać i więcej się już o prywatność nie martwić. Także walczę by na tyle usprawnić konwerter by listy pod privoxy działały sprawnie, bo samego privoxy by obsługiwał bezpośrednio filtry od adblocka to chyba się nie doczekamy. A wizja Firefoxa bez stu dodatków i jeszcze więcej filtrów jest równie kusząca A co do wszystkich tych list to oczywiście że na większość z tych stron to ani nie wchodzę, ani nie miałem pojęcia że istnieją :P

xxcriticxx commented 6 years ago

@wmyrda privoxy by musialo byc takie proste jak pihole zeby sie przyjelo

xxcriticxx commented 6 years ago

@wmyrda jest jeszcze pfSense pfBlockerNG jak sie nudzisz w pracy

wmyrda commented 6 years ago

Przetestowałem same reguły z tego repo 

adblock2privoxy -p /root/skrypty/privoxy/temp -t privoxy_ab2b.task \
https://raw.githubusercontent.com/MajkiIT/polish-ads-filter/master/adblock_social_filters/adblock_social_list.txt \
https://raw.githubusercontent.com/MajkiIT/polish-ads-filter/master/adblock_social_filters/social_filters_uB_AG.txt \
https://raw.githubusercontent.com/MajkiIT/polish-ads-filter/master/anti-donate-filters_nie_wspierane/adblock_anty-dotacje.txt \
https://raw.githubusercontent.com/MajkiIT/polish-ads-filter/master/cookies_filters/adblock_cookies.txt \
https://raw.githubusercontent.com/MajkiIT/polish-ads-filter/master/cookies_filters/cookies_uB_AG.txt \
https://raw.githubusercontent.com/MajkiIT/polish-ads-filter/master/inside-filters_nie_wspierane/adblock_wewnetrzne.txt \
https://raw.githubusercontent.com/MajkiIT/polish-ads-filter/master/polish-adblock-filters/adblock.txt \
https://raw.githubusercontent.com/MajkiIT/polish-ads-filter/master/polish-adblock-filters/adblock_adguard.txt \
https://raw.githubusercontent.com/MajkiIT/polish-ads-filter/master/polish-adblock-filters/adblock_test.txt \
https://raw.githubusercontent.com/MajkiIT/polish-ads-filter/master/polish-adblock-filters/adblock_ublock.txt

i na dzień dzisiejszy pojawiają się poniższe błędy (oczywiście nie licząc tych zawierających -abp-*)

ERROR: debata.olsztyn.pl,bluestop.pl/###jslikeboxsidebarright (adblock_social_list.txt: 976) - Record type detection failed
ERROR: ~autocentrum.pl,~ideabank.pl,~intel.*,~pkn.pl,~topsecret.pl,~starbucks.pl,~isobar.com,~morizon.pl,~abctygodnik.pl,~wykop.pl,~bt4.pl,~kolba.pl,~tablety.pl,~tesco.pl,~unileverfoodsolutions.pl,~lomza.pl,~multimediago.pl,pl##div[class*="cookie"] (adblock_cookies.txt: 1266) - Record type detection failed
ERROR: bryk.pl,zvami.tv,debica24.eu,telewizjazary.pl,korsokolbuszowskie.pl,kociewiak.pl,cooltura24.co.uk,portalpomorza.pl,tvobiektyw.pl,debica24.eu,echotygodnik.info#[class^="advert-"] (adblock.txt: 485) - Record type detection failed
ERROR: ||interia.pl/#utm_source$popup,domain=cdaction.pl (adblock.txt: 3023) - Record type detection failed

Jak rozumiem z tego co pisał @krystian3w to reguła ostatnia dla interii jest poprawna, a co z pozostałymi? W drugiej domyślam się, że chodzi o to, że konwerter nie przyjmuje domeny z gwiazdką ~intel.*, ale pozostałe dwie to raczej do poprawy

hawkeye116477 commented 6 years ago

Z tego co widzę, to w 1 regule jest błąd, natomiast 2 to ukrywanie ##div[class*="cookie"] na domenach z z wyłączeniem stron oznaczonych ~, a 3 reguła do poprawy.

krystian3w commented 6 years ago

Z tego co widzę, to w 1 regule jest błąd

poprawiłem w szablonie.

ERROR: ~autocentrum.pl,~ideabank.pl,~intel.*,~pkn.pl,~topsecret.pl,~starbucks.pl,~isobar.com,~morizon.pl,~abctygodnik.pl,~wykop.pl,~bt4.pl,~kolba.pl,~tablety.pl,~tesco.pl,~unileverfoodsolutions.pl,~lomza.pl,~multimediago.pl,pl##div[class*="cookie"] (adblock_cookies.txt: 1266) - Record type detection failed

Hej co tam robi intel z gwiazdką (*), to obsługuje tylko uBlock Origin (AdGuard jak testowałem nie a co dopiero AdBlock / Adblock Plus).

Chyba zostaje to przenieść i odblokować tylko dla polskiej i amerykańskiej (~intel.pl,~intel.com) w AdBlocku.

to reguła ostatnia dla interii jest poprawna,

Nie dla Interii - dla cdaction.pl odwołujące do Interii.

możesz sobie ją tłumaczyć tak:

blokuj "Interię" (||interia.pl/#utm_source) na cdaction.pl (domain=cdaction.pl) gdy jest to pop-up ($popup).

wmyrda commented 6 years ago

Chyba zostaje to przenieść i odblokować tylko dla polskiej i amerykańskiej (~intel.pl,~intel.com)

Również optował bym za tym rozwiązaniem skoro nie tylko adblock2privoxy ma z tym problem.

Nie dla Interii - dla cdaction.pl odwołujące do Interii.

No wiem pisałeś już wcześniej. Skrót myślowy ;)

Tak po za tym to w sumie raz na jakiś czas mogę zapuścić kontrolnie konwerter i rzucić na tapetę jak coś nowego wyłapie

wmyrda commented 6 years ago

Wyłapane problemy poprawione także zamykam. https://github.com/MajkiIT/polish-ads-filter/commit/e3751cc5af3e266826bc7747201389e85a22936f https://github.com/MajkiIT/polish-ads-filter/commit/c9be08e270f18c712c40dea08638f688cc68e35e W razie W otworzy się nowy

github-actions[bot] commented 5 months ago

Ten wątek został automatycznie zablokowany, ponieważ 60 dni po jego zamknięciu nie było żadnej aktywności. Proszę otworzyć nowe zgłoszenie dla powiązanych problemów.