search

MajkiIT / polish-ads-filter

CertyficateIT - Oficjalne polskie filtry do Adblock, uBlock Origin, Adguard
Other
671 stars 93 forks source link

Oszczędzanie energii #14350

Closed hawkeye116477 closed 5 years ago

hawkeye116477 commented 5 years ago

Jakby, co to @MajkiIT może usunąć :cookie:, :+1: , RSS i EI z poszukiwania wygasłych domen. W końcu po co marnować energię, PFT i tak korzysta ze swoich ulepszonych skryptów (https://github.com/PolishFiltersTeam/ScriptsPlayground/blob/master/scripts/expired_domains.sh, https://github.com/PolishFiltersTeam/ScriptsPlayground/blob/master/scripts/DSC.sh) :smile:

krystian3w commented 5 years ago

blogspot.co jakoś przeszedł?

https://github.com/PolishFiltersTeam/PolishSocialCookiesFiltersDev/commit/231623f963d68428155baf1a2fe9b1eccbdfde76

alkowska.com też:

https://github.com/PolishFiltersTeam/PolishSocialCookiesFiltersDev/commit/2ee698c5a5ad56dc7bc729b96c30fbe86eddf5c6

pewnie żadnej domeny z filtra nie testowało?

z 3 tygodnie nikt też niewidział znowu filtru sieciowego, blokującego nie wiadomo co, pewnie nic:

https://github.com/MajkiIT/polish-ads-filter/blob/3b3f2cf5c8d78ae2ea85665bc3f1f21eadf9f59c/adblock_social_filters/adblock_social_list.txt#L1121

hawkeye116477 commented 5 years ago

@krystian3w Bo blogspot.co nie wygasł, nadal jest. Skrypt nie sprawdza np. poczta.wp.pl, tylko wp.pl, bo whois nie działa na subdomeny, więc musi być zamiana, w razie jakby główna tymczasowo padła. Zobacz https://gitlab.com/PolishFiltersTeam/ScriptsPlayground/-/jobs/268824792.

krystian3w commented 5 years ago

to i tak dziwne, że nigdzie tej kamiry (3 nieznane, a nie ma w pliku nieznane przez minimum 3 tygodnie?) nie zapisało ani alkowska.com (ktoś kupił i nie konfiguruje lub nie do WWW?).

hawkeye116477 commented 5 years ago

@krystian3w Jeżeli chodzi o alkowska.com, to skrypt wyciąga domeny z przed hasha, a że nie było tam hasha to nie wypluł tej domeny, zagadka rozwiązana :smile: pcregrep -o1 '^([^\/\*\|\@\"\!]*?)#\@?#\K.*' Majki jakoś tam inaczej wyciąga, nawet chyba mniej domen, ale closed-source, więc się nie dowiemy.

krystian3w commented 5 years ago

A kamiry da się może na przyszłość wciągnąć bez podglądu co bash widział? Niby je coś wychwyciło. Chyba że ręcznie były testowane?

hawkeye116477 commented 5 years ago

@krystian3w Zaraz dodam poprawkę, Trochę inaczej zrobimy, teraz będzie sprawdzał obydwie i jeżeli subdomena będzie leżała, a główna nie, to subdomena trafi do listy niewiadomych, a jeżeli obydwie będą offline, to wtedy wynik z whois, a jak nic nie zwróci, to wtedy kod z curla.

hawkeye116477 commented 5 years ago

@MajkiIT Proponuję jeszcze poprawić skrypt, by aktualizował listy Pihole, tylko wtedy gdy jest taka potrzeba i jakby co, to VICHS od PolishFiltersTeam potrafi to robić :smile:

xxcriticxx commented 5 years ago

@hawkeye116477 może w końcu nauczysz bot zamykać wątki jak PR zrobicie?

dzienne PR tez bym się nie obraził

hawkeye116477 commented 5 years ago

@xxcriticxx Raczej nierealne do wykonania. No chyba, że MS doda opcję, że napiszemy np fixes l:cookies i wtedy zamknie wszystko z taką etykietą. Także jak tak chcesz, to pisz do Phila, może doda :smiley:.

xxcriticxx commented 5 years ago

Zostawiam to dla ciebie napewno coś wymyślisz

hawkeye116477 commented 5 years ago

@xxcriticxx Może dałoby się zrobić, ale ja się nie znam na robieniu takich botów. Najlepiej, jakby Phil dodał to co mówię, albo też np fixes #1544 - #1555, przydałoby się, od razu szybciej by szło. Także pisz komputerowy list do MS albo Tonego Starka :smiley:

xxcriticxx commented 5 years ago

Może lepiej do kapitan America albo do thora?

hawkeye116477 commented 5 years ago

@xxcriticxx Kapitan Ameryka cofnął się w czasie (Avengers Endgame, sorry za spoiler), a Thor to menel :smiley: Tak więc, wracamy do Starka, ale on przecież już nie żyje (sorry, za kolejny spoiler). Więc pozostaje ci chyba jeszcze ewentualnie Peter Parker albo Microsoft :smile:

PS: Możesz dodać etykietę, że uwaga wątek zawiera spoilery :smile:

xxcriticxx commented 5 years ago

@hawkeye116477 done

hawkeye116477 commented 5 years ago

@xxcriticxx Ale miał być spoiler :smile:

xxcriticxx commented 5 years ago

@hawkeye116477 jest

hawkeye116477 commented 5 years ago

@xxcriticxx Raczej jest mój nick zamiast słowa spoiler :stuck_out_tongue:

xxcriticxx commented 5 years ago

@hawkeye116477 close enough

hawkeye116477 commented 5 years ago

@MajkiIT Co się nie odzywasz, nie chcesz być pro eko :smile:?

A więc jeszcze raz podsumowujmy ekologiczne działania:

MajkiIT commented 5 years ago

@hawkeye116477 Nie odzywałem się, bo miałem trochę zamieszania rodzinnego.

ad 1 to data wygenerowania plików ad 2 dobrze usunę jak nie korzystacie z tego

a tak apropo to jest EKO, bo prąd idzie z kolektorów słonecznych w obecnej chwili. :D

krystian3w commented 5 years ago

Nawet zimą jak świeci "5 godzin" :clock5: i jak chronisz je przed gradem wielkości piłek do tenisa :tennis: / jabłek :apple:.

hawkeye116477 commented 5 years ago

@MajkiIT ad 1 to data wygenerowania plików No tak, ale mógłby podbijać tę datę, tylko jeżeli zmieni się zawartość listy, bo często widzę, że brak zmian, a data jest podbijana, a wg. mnie trochę bez sensu to podbijać, jak nie ma nowych zmian, ale jak uważasz :smile:. VICHS potrafi pobierać listy i zamieniać je na hosts i podbijać wersję tylko, gdy się coś zmieniło i która swoją drogą też może być w formacie daty wygenerowania (parę formatów jest do wyboru, w zasadzie wszystkie mają w sobie datę, w niektórych jest też liczba commitów).

Aktualizacja: Jakby co, to VICHS potrafi też robić listy regexowe dla Pi-hole, w wersji pełnej i odchudzonej (w odchudzonej zamienia tylko te z gwiazdką).

xxcriticxx commented 5 years ago

@hawkeye116477 VICHS co to za monster?

krystian3w commented 5 years ago

i "tę" "datę".

hawkeye116477 commented 5 years ago

@xxcriticxx Version Checksum Include Sort - taki skrypt, dzieło inżynierów z Polish Filters Team :smile: https://github.com/PolishFiltersTeam/ScriptsPlayground/blob/master/scripts/VICHS.sh

MajkiIT commented 5 years ago

@krystian3w obecnie od 1,5 ms mam 6 paneli fotowoltaicznych i Heat pipe aby podgrzewać wodę. Na razie nie miałem takiej sytuacji i obecnie sięgając pamięcią to nie pamiętam kiedy tak grad był. Planuję to ubezpieczyć, ale muszę pozyskać oferty. Obecnie większość energii oddaję do sieci niż jej pobieram ... zrobiłem mechanizm, że po wyjściu wszystkich z domu po 20 min wyłączają się wszystkie zbędne odbiorniki. Obecnie cały stary sprzęt serwerowy sprzedałem, bo był za kosztowny pod względem użycia prądu. Teraz przerzuciłem się na Raspberry PI 3+ i 4 . Dodatkowo router, switche i Access Pointy i pozostałe elementy pobierają ok max 120 W. Szczyt jest w weekend jak jest cała rodzina i jest gotowanie, TV itp.

@hawkeye116477 to wynika z problemu maili.... z pytanie czemu listy przestały się aktualizować. Można dodać datę sprawdzenia listy .... poczytam o tym co proponujesz.

hawkeye116477 commented 5 years ago

@MajkiIT Taka mała sztuczka => https://github.com/PolishFiltersTeam/ScriptsPlayground/blob/master/scripts/VICHS.sh#L456. Robimy kopię starego pliku, usuwamy z niego komentarze, potem przetwarzamy nowy plik, dodajemy nowe reguły i robimy kopię odświeżonej listy, a na kopii usuwamy komentarze. Potem sprawdzamy md5 starej i nowej kopii, jak jest taka sama suma, to data nie jest podbijana i plik jest odwracany do starej wersji (git checkout).

Jakbyś chciał użyć VICHSa, to najpierw trzeba zrobić katalog scripts, a w nim umieścić skrypt i plik VICHS.config. Tam wpisujesz coś w stylu:

@dateFormat %a, %d %b %Y, %H:%M UTC%:::z
@versionFormat Year.Month.NumberOfCommitsInMonth

Dateformat to format daty, my go używamy do pola Last modfied,to jest zapis taki jak jest w komendzie date (https://www.cyberciti.biz/faq/linux-unix-formatting-dates-for-display/). VersionFormat to do wersji, do wyboru jest Year.Month.NumberOfCommitsInMonth, Year.Month.Day.TodayNumberOfCommits albo można zamiast @versionFormat wpisac @versionDateFormat i podać własny format w formacie komendy date. Tak w zasadzie to versionFormat można też pominąć, jak się go nie wpisze, to domyślnie jest format RokMiesiącDzieńGodzinaMinuta. Po ogarnięciu konfiguracji tworzymy katalog templates w głównym katalogu repo, a w tym katalogu plik nazwalisty.template, przykład możesz brać z https://github.com/PolishFiltersTeam/KADhosts/blob/master/templates/KADhosts.template. Modified jest w formacie @dateFormat. A jak byś chciał zrobić konwersję regexów dla Pi-hole, to wtedy @URLHOSTSinclude zamieniasz na @URLPHLinclude lub bez literki L (z Literką L konwertuje tylko reguły z gwiazdką) albo to samo bez URL dla konwersji z tego samego repo, ale wtedy do szablonu lub configu musisz wpisać coś w stylu @path sections/adblock_cookies/uBO_AG i wtedy w instrukcji @PHLinclude wpisujesz tylko nazwę pliku bez rozszerzenia. Jak to już zrobisz, to wtedy odpalasz skrypt VICHS.sh sciezkadohosts/listahosts.txt sciezkadohosts/listahosts2.txt (nie musi być pełna ścieżka, skrypt zaczyna zabawę od katalogu z repozytorium), ale jeśli chcesz, by było automatycznie wszystko bez pytań, to musisz przed VICHS.sh wpisać CI="true" i podmienić linijkę https://github.com/PolishFiltersTeam/ScriptsPlayground/blob/master/scripts/VICHS.sh#L536 jeżeli nie masz tokenu albo przenieść to do CircleCI (wtedy do konfigu idzie @CIusername z wpisaną nazwą użytkownika używanego w CI).

xxcriticxx commented 5 years ago

@MajkiIT prosimy o zdjecie tej twojej sieci elektrycznej

hawkeye116477 commented 5 years ago

Nadal widzę :cookie:, :+1: , RSS i EI w https://github.com/MajkiIT/polish-ads-filter/tree/master/dead-domains, a my tym czasem zaaktualizowaliśmy nasz eko skrypt (https://github.com/PolishFiltersTeam/ScriptsPlayground/blob/master/scripts/ECODFF.sh) :smiley:

github-actions[bot] commented 9 months ago

Ten wątek został automatycznie zablokowany, ponieważ 60 dni po jego zamknięciu nie było żadnej aktywności. Proszę otworzyć nowe zgłoszenie dla powiązanych problemów.