FiltersHeroes / KAD

Filtry do uBlocka Origin i AdGuarda, chroniące przed różnymi zagrożeniami w polskiej sieci, takimi jak wirusy, fałszywe sklepy i subskrypcje SMS.
https://kadantiscam.netlify.app/
Creative Commons Attribution Share Alike 4.0 International
56 stars 8 forks source link

ipfs public gateways #2314

Closed KonoromiHimaries closed 1 year ago

KonoromiHimaries commented 1 year ago

Bloker (Blocker)

ubo 1.49.2

Link bezpośredni, na którym występuje problem

https://ipfs.github.io/public-gateway-checker https://ipfs-public-gateway-checker.on.fleek.co

Opis błędu

Do (za/od)blokowania.

uBo logger:
 dweb.link
 aragon.network
 crustwebsites.net
 parkingcrew.net
 best-practise.se
 pinata.cloud

Dodatkowe informacje mogące mieć znaczenie

No response

krystian3w commented 1 year ago

Tylko: jak nie da się wkleić ze 60 tysięcy domen, to filtrowanie zajmie ze 42 dni, powierzając 1 minutę na domenę.

I trzeba by co ban z CERT sprawdzać czy to oni blokują Gate (a umieją CDN).

krystian3w commented 1 year ago

Zainteresowani mają około 40 dni na podsumowanie jak problem inaczej zaadresować. Po 40 dniach mile widziane otworzenie własnego zgłoszenia "błędu" lub PR naprawiającego w folderze /sections/ i /exclusions/.

KonoromiHimaries commented 1 year ago

@krystian3w Nie można po prostu whitelistować popularnych sub-domen ipns/ipfs na wszystkich bramkach, a resztę zablokować?

Np. odblokować

https://bafybeiemxf5abjwjbikoz4mc3a3dla6ual3jsgpdr4cjr3oz3evfyavhwq.ipfs.dweb.link
krystian3w commented 1 year ago

Możesz je wrzucić w "CERT skip" ale już zbanowane trzeba usunąć z pliku "przekrety.txt", bo skrypt sam nie sprawdza, ale można użyć skryptu z playgrouds (tego do usuwania wygasłych domen), podmieniając źródło na ~60 ipfs-ów (wtedy nie trzeba rozszerzać wsparcia na subdomeny w ramach ipfs pod listę plików skip i offline).

Przy czym nie wiem czy takie uczestniczą w legalnej transmisji:

losowe-znaki.ipfs.pollandu.org

Że blokada na poziomie HOSTS/DNS przypomina za szybki ban subdomeny CDN.

Dodatkowo trzeba by sprawdzić czy ktoś nie podszywa się pod ipfs byśmy cofnęli bana.

KonoromiHimaries commented 1 year ago

Dodatkowo trzeba by sprawdzić czy ktoś nie podszywa się pod ipfs byśmy cofnęli bana

Można zablokować wszystkie domeny ipfs spoza listy https://ipfs.github.io/public-gateway-checker/

krystian3w commented 1 year ago

Wiele dodanych do skip już ma błąd 410 lub błąd połączenia.

KonoromiHimaries commented 1 year ago

Jedna zmiana w pliku i hash/cid się zmienia. Nie ma sensu blokować tego pojedynczo, gdy lepiej zablokować wszystko i whitelistować wybrane. Warto whitelistować cidv1 https://cid.ipfs.tech/

krystian3w commented 1 year ago

Nie widzę nigdzie nic z ipfs.tech:

obraz

Jak bardzo chcesz to subdomeny możesz wypisać lub zrobić PR i CERT ich u nas nie zbanuje (na poziomie DNS mogą uprościć blokadę do ipfs.tech).

krystian3w commented 1 year ago

No to musisz jakoś po ludzku napisać o co ci chodzi, bo jak chcesz by mój commit na poziomie pliku przekerety.txt z blokadą scamu udostępnionego za pomocą ipfs.tech lub innego pliku z /sections/ był automatycznie revertowany, to potrzebujemy świeżej akcji github, co by filtrowała plik z banowania i pomijała linie jak jest modyfikator ,important, bo raczej poza mną to tylko już CERT by mógł dać "bezmyślnie" bana dla ipfs.tech.

KonoromiHimaries commented 1 year ago

ipfs.tech jest w porządku, nie udostępnia żadnej bramki. Zobacz

https://ipfs.tech/ipfs/bafybeiemxf5abjwjbikoz4mc3a3dla6ual3jsgpdr4cjr3oz3evfyavhwq

Więc nie ma sensu tego blokować lub odblokowywać. To jest oficjalna strona ipfs.

krystian3w commented 1 year ago

To raczej problem "obszedłnięty" aż CERT nie uprości tych banów hasha na blokadę subdomeny i domeny:

https://github.com/FiltersHeroes/KAD/blob/03241362603b826ec2c9365e4d62a7c01c34af3c/sections/przekrety.txt#L9607-L9661

Do filtru typu:

https://github.com/FiltersHeroes/KAD/blob/03241362603b826ec2c9365e4d62a7c01c34af3c/sections/przekrety.txt#L33816-L33817

I tamte zostaną dodane do nowych jako 84+.

Jak rozumiem to są prywatne lub regionalne ipfs jeszcze.

KonoromiHimaries commented 1 year ago

Jak rozumiem to są prywatne lub regionalne ipfs jeszcze

Każdy może postawić instancje i ustawić jak chce. Jak się ma zainstalowany ipfs, to można się łączyć za pomocą lokalnej bramki tu_hash.ipfs.localhost:8080

KonoromiHimaries commented 1 year ago

@krystian3w Lista cid/hash do blokowania

https://badbits.dwebops.pub/denylist.json
https://badbits.dwebops.pub/badbits.deny

Rozszerzenie do kubo

https://github.com/ipfs-shipyard/nopfs#readme
krystian3w commented 1 year ago

Masz na myśli sprawdzanie jej botem 4 razy dziennie?

Czy wystarczy raz na miesiąc zrobić diff co jest usunięte u nich lub dodane ręcznie?

KonoromiHimaries commented 1 year ago

Raz na 2-5 dni wystarczy.

krystian3w commented 1 year ago

Trochę boję się, że wtedy to powinno iść do osobnego pliku z obowiązkowym wykluczeniem iOS*, by w mobilnym Safari nie padało blokowanie reklam, trackerów i śledzenia.

Bo oba pliki mają po 155442 linii (aplikacja może to przemnożyć jak uBo przez 5+ i mamy nagle 777K a iOS pewnie dalej ma maksymalnie z 330K).

* - Jak to ma być blokowanie 155K "hashy" z pomijaniem domeny czyli np.

||gffgfdgggr6745fdftedf46636defggeetr66eery5644yt.*$all,important

Opcjonalnie musisz napisać instrukcję obsługi tych plików, bo się na tym nie znam i nie wiem ile lat wymaga wdrożenie by je zrozumieć.

KonoromiHimaries commented 1 year ago

Tak, można wykluczyć safari z blokowania lub zablokować same bramki oprócz tych, co mają zainstalowane to rozszerzenie.

github-actions[bot] commented 1 year ago

Ten wątek został automatycznie zablokowany, ponieważ po jego zamknięciu nie było żadnej aktywności. Proszę otworzyć nowe zgłoszenie dla powiązanych problemów.