search

MajkiIT / polish-ads-filter

CertyficateIT - Oficjalne polskie filtry do Adblock, uBlock Origin, Adguard
Other
671 stars 93 forks source link

Huawei #17875

Closed mariusz689 closed 3 years ago

mariusz689 commented 3 years ago

Witajcie, ktoś wrzucił na wykopie link do waszego forum i jestem. Mój problem dotyczy Huawei, opisałem swój problem na forum AdGuard ale bez odzewu. link do mojego wątku: https://forum.adguard.com/index.php?threads/huawei-inverter-fusionsolar.40272/

Używam filtru AdGuard poprzez DNS na mikrotiku.

Opiszę na czym polega problem, może ktoś go tutaj rozwiąże, lub ma kolegów którzy zajmują się filtrami adguard lub po prostu wskaże gdzie mam się udać z problemem.

Mam falownik Huawei do paneli fotowoltaicznych który jest cały czas podpięty do internetu aby przesyłać statystyki i monitorować pracę falownika. Używam też aplikacji na telefonie Fusionsolar aby łączyć się z falownikiem i oglądać historię produkcji prądu. Można się zalogować przez przeglądarkę do fusionsolar i też oglądać historię i stan falownika. Problem polega na tym że filtr adguard który blokuje reklamy poprzez serwer dns blokuje również połączenie falownika z internetem. Blokuje aplikację fusionsolar na andorida ale nie blokuje zarządzania na stronie fusionsolar poprzez przeglądarkę.

xxcriticxx commented 3 years ago

@mariusz689 napewno cos musisz dodac do whitelisty tylko jest pytanie co?

cc @MajkiIT mikrotik twoje tematy

cc @AdamWr moze cos pomoze te sprawe po pchac

gzenio22 commented 3 years ago

trzymam kciuki żeby chłopaki doszli o co biega :)

mariusz689 commented 3 years ago

Ustawień używałem ze strony: https://adguard.com/pl/adguard-dns/overview.html a dokładniej używam DNS: 94.140.14.14

Mogę spróbować zobaczyć w Mikrotik za pomocą "Torch" z jakimi adresami IP chce łączyć się telefon podczas uruchamiania aplikacji fusionsolar, oraz sprawdzić z jakimi IP chce łączyć się falownik Huawei - jeśli ma to ułatwić rozwiązanie problemu. Dzięki za szybką odpowiedź :)

xxcriticxx commented 3 years ago

Próbowałeś zmienić na server Google? 8.8.8.8 and/or 8.8.4.4?

krystian3w commented 3 years ago

IP może wiele nie pomóc, jak nie damy rady do niego dopasować np. domeny jak twórcy aplikacji takiej używają.

Podgląd listy AdGuard: https://filters.adtidy.org/windows/filters/15.txt - nie widać by blokowano coś "per" IP.

Teoretycznie ich aplikacja, robiąca lokalne połączenie VPN może dostarczy łatwiej co blokuje.

7 dni można testować, jedynie nie pamiętam czy w 40% opcji aktywnych bez licencji jest nadpisywanie DNS https://adguard.com/pl/adguard-android/overview.html

MajkiIT commented 3 years ago

@mariusz689 czyli podsumowując ... masz na MT ustawiony ich DNS do filtracji reklam a przy okazji blokuje ci domeny związane z zarządzaniem Falownikiem ?

krystian3w commented 3 years ago

Tak, a AdGuard pewnie nie zakupił ich to nawet nie ma jak testować czy są w stanie namierzyć błędny filtr/blokadę.

MajkiIT commented 3 years ago

No to trzeba zobaczyć na zewn DNS zobaczyć na jaki adres IP rozwiązuje się domena i zrobić wpis statyczny na MT. To powinno ominąć filtrację.

mariusz689 commented 3 years ago

Nie trzeba kupować falownik Huawei aby zbadać problem. Wystarczy pobrać na telefon z androidem aplikację FusionSolar, w pole nazwa użytkownika wpisać jakiś losowy mail oraz w pole hasła też cokolwiek wpisać i kliknąć w "Zaloguj się" wtedy pojawia się komunikat na górze "Sieć działa nieprawidłowo. Podłącz telefon do internetu". Gdy dane nie lecą przez filtr DNS adguard gdy zrobimy to samo co powyżej, zwrócony zostanie komunikat o błędnym loginie i haśle - czyli w tym przypadku jest komunikacja z serwerem. Podejrzewam że na Falowniku Huawei jest system android i zarówno aplikacja w telefonie jak i w falowniku działa na takiej zasadzie ponieważ logując się na stronę https://eu5.fusionsolar.huawei.com/ aby sprawdzić w czasie rzeczywistym pracę falownika mogę to sprawdzić. Podejrzewam, że falownik łączy się z jakimś serwerem X na którym są przechowywane informacje o pracy mojego falownika oraz łączy się z serwerem Y - nie wiem w jakim celu, może w celu sprawdzenia aktualizacji czy czegoś tam jeszcze. Serwer Y jest blokowany w taki sposób, że aplikacja w telefonie jak i falownik odrzuca całkowicie połączenie z internetem i zwraca błąd połączenia z internetem.

Czy w takiej sytuacji mam coś zrobić czy czekać na wasze zbadanie i rozwiązanie problemu ?

@MajkiIT - dokładnie tak, sytuację opisałem powyżej wynika z niej, że blokuje działanie tej aplikacji ale z wyjątkiem dostępu do konta poprzez przeglądarkę www

@krystian3w podejrzewam że problem jest mało popularny lub nikt wcześniej nie zwrócił uwagi że adguard blokuje działanie tej aplikacji. Chyba nikt wcześniej nie użył takiej konfiguracji aby na mikrotik ustawić dns adguard do blokowania reklam i do tego podłączyć jeszcze falownik Huawei.

zaba-monika commented 3 years ago

krystian3w : https://github.com/MajkiIT/polish-ads-filter/issues/17875?_pjax=%23js-repo-pjax-container#issuecomment-734681339 : Podgląd listy AdGuard: https://filters.adtidy.org/windows/filters/15.txt

MajkiIT commented 3 years ago

@mariusz689 a czemu nie chcesz zacząć używać pihole ?

krystian3w commented 3 years ago

Może nie ma malinki lub gdziekolwiek go postawić.

MajkiIT commented 3 years ago

@krystian3w No możliwe ... :D

mariusz689 commented 3 years ago

@zaba-monika Podczas uruchamiania aplikacji fusionsolar w telefonie, sprawdziłem w Mikrotik przez Torch, że bardzo często podczas uruchamiania aplikacji generowany jest ruch z adresem IP: 103.235.46.39:443, pojawiają się też inne IP ale generują mniejszy ruch i mogą być zwykłym szumem. Próbowałem na Mikrotik przez Layer7 wychwycić pakiety z fusionsolar ale jak widać ruch jest szyfrowany przez https więc nie sprawdzę co siedzi w tym pakietach.

@MajkiIT Nie mam malinki. Może kiedyś kupię i się nim pobawię :) Czy pihole lepiej blokuje reklamy niż adguard ? blokuje też reklamy na filmikach na youtube ? Wiem że adguard nie potrafi blokować reklam na YT. Kiedyś czytałem na forum adguard, że nie mogą blokować reklam na yt, bo na tym samym serwerze z reklamami stoją też normalne strony.

Myślicie, że coś da się zrobić z tym adguard i problemem z fusionsolar ?

zaba-monika commented 3 years ago

mariusz689 : z adresem IP: 103.235.46.39:443

mariusz689 : Czy pihole lepiej blokuje reklamy niż adguard ? blokuje też reklamy na filmikach na youtube ?

xxcriticxx commented 3 years ago

pihole możesz temp zainstalować na docer albo vm

mariusz689 commented 3 years ago

@zaba-monika używam blokowania reklam dns adguard oraz mam wtyczkę ghostery w przeglądarce, chyba dobra wtyczka? czy może używacie innej wtyczki do blokowania reklam ?

Wczoraj wieczorem, włączałem i wyłączałem aplikację fusionsolar na telefonie i patrzyłem jakie adresy IP pojawiają się w Torch na Mikrotiku. Podczas mozolnego włączania i wyłączania fusionsolar na telefonie, może za 20 razem aplikacja się uruchomiła poprawnie i działała tak jak powinna (przypuszczam, że aplikacja "czasami" próbuje się połączyć z innym lustrzanym serwerem w przypadku problemu z połączeniem "i ten lustrzany" serwer nie jest zablokowany. W tym przypadku gdy fusionsolar zadziałał był generowany większy ruch z adresami IP: 90.84.191.21:443 oraz 103.235.46.39:443 (Adres IP 103.235.46.39:443 pojawiał się chyba zawsze przy próbie odpalenia fusionsolar - nawet w tym przypadku gdy działał oraz nie działał)

Bardzo często pojawiał się też adres IP: 104.193.88.77:443 a według strony ipinfo na tym adresie ip stoi ponad 17 tys domen.

Nie mam więcej pomysłów jak rozwiązać problem. Nie jestem programistą jedynie hobbystycznie zajmuję się siecią i ustawieniami na mikrotik. Pewnie programiści z adguard rozwiązaliby problem w 5 minut lub przynajmniej udzielili odpowiedzi dlaczego fusionsolar jest zablokowany.

@zaba-monika Podałaś w poprzednim poście: ||libfre.obs.cn-east-3.myhuaweicloud.com^ ||teslaamg.obs.cn-east-3.myhuaweicloud.com^

Czy można sprawdzić to na jakim adresie IP stoi ?

zaba-monika commented 3 years ago

mariusz689 : @zaba-monika używam blokowania reklam dns adguard oraz mam wtyczkę ghostery w przeglądarce, chyba dobra wtyczka? czy może używacie innej wtyczki do blokowania reklam ?

mariusz689 : a według strony ipinfo na tym adresie ip stoi ponad 17 tys domen.

mariusz689 : Pewnie programiści z adguard rozwiązaliby problem w 5 minut lub przynajmniej udzielili odpowiedzi dlaczego fusionsolar jest zablokowany.

mariusz689 : @zaba-monika Podałaś w poprzednim poście: Czy można sprawdzić to na jakim adresie IP stoi ?

xxcriticxx commented 3 years ago

@mariusz689 masz system na windows? Ta wtyczka pokaze tobie co trzeba whitelistowac do danej strony.

https://chrome.google.com/webstore/detail/adamone-assistant/fdmpekabnlekabjlimjkfmdjajnddgpc?hl=en

zalogowalem sie na ver demo https://eu5.fusionsolar.huawei.com/ i widze takie domeny:

ogs.google.com
www.gstatic.com
apis.google.com
play.google.com
eu5.fusionsolar.huawei.com
ajax.googleapis.com
ssl.gstatic.com
docs.google.com
webapi.amap.com
maps.googleapis.com
cdn.worldweatheronline.com
zaba-monika commented 3 years ago
krystian3w commented 3 years ago

Niby Huawei FusionSolar wymaga połączeń z www.baidu.com (nie są blokowane) niby używa nawet jakiegoś CNAME "a.shifen.com" (nie jest blokowane)

rekord A, 103.235.46.39 - CNAME a.shifen.com / www.shifen.com 103.235.46.39:443 - niby www.baidu.com (bez szyfrowania po https jak się w przeglądarce otwiera).

Na tyle ile logger aplikacji wskazał to AdGuard DNS robi 20-61 sekundowy lag (ping np. 60678 ms) dla zapytania na serwer główny "Baidu".

Niby te zapasowe szybciej odpowiadają.

Jak umiecie MT zrobić takie coś baidu.com:103.235.46.39, to zróbcie.

MajkiIT commented 3 years ago

@mariusz689 a nie możesz zrobić na falownika oddzielnej sieci wifi na chwilę. Dla tej sieci ustawić serwer DNS ten który jest na MT . Dla obecnej sieci ustawić na DHCP DNS IP serwerów Adgurd. Wtedy będziesz widział w DNS cache do czego łączył się falownik.

xxcriticxx commented 3 years ago 
Match found in https://raw.githubusercontent.com/anudeepND/blacklist/master/adservers.txt:
   a.shifen.com 
   www.a.shifen.com
krystian3w commented 3 years ago

AdGuard w logu robi na czerwono jak jest blokowany.

Ja widzę na szaro, czyli AdGuard nie stosuje projektu anudeepND/blacklist.

Obstawiałbym, że 103.235.46.39 to serwer głównie w Chinach, stąd taki lag sięgający do 60 sekund.

xxcriticxx commented 3 years ago

No results found for 103.235.46.39 within the block lists

mariusz689 commented 3 years ago

@MajkiIT Nie wiem czy ustawiłem DNS serwer tak jak chciałeś, ale przy prawie chwilowo zerowym ruchu na mikrotiku i wyczyszczeniu listy dns, pojawiły się takie wpisy. Przez Torch zaobserwowałem, że falownik co jakiś czas chyba około jednej minuty lub dłużej (nie sprawdzałem dokładnie) generuje ruch z IP: 90.84.191.21:27251 (który trwa jedną sekundę). Obecnie ruch z falownikiem idzie z pominięciem AdGuard DNS

huawei

MajkiIT commented 3 years ago

https://forum.huawei.com/enterprise/en/configuration-for-fusionsolar-in-smartlogger-1000-and-1000a/thread/603206-100027 @mariusz689

krystian3w commented 3 years ago

Ja tam dalej upieram się, że logowanie sprawdzają gdzieś w Chinach z serwerem Baidu.

AroKol78 commented 3 years ago

huawei is made in china (baidu/alibaba)

mariusz689 commented 3 years ago

@MajkiIT widać, że ktoś poruszył temat odnośnie tego IP. Tam było coś o zmianie parametrów na falowniku połączenia do serwera? Dlaczego miałbym coś zmieniać na falowniku? Falownik łączy się przez ten sam ISP, problem pojawia się wtedy gdy ruch puszczę przez DNS AdGuard.

@krystian3w Gdy sprawdzałem z jakimi IP łączy się falownik, obserwacje zacząłem prowadzić gdy już falownik połączył się na testowy wifi. Może w chwili pierwszego połączenia łączy się z innymi serwerami w celu autoryzacji konta a później łączy się tylko z 90.84.191.21 w celu synchronizacji ?

zaba-monika commented 3 years ago

zaba-monika: https://github.com/MajkiIT/polish-ads-filter/issues/17875#issuecomment-735234201 : spróbuj zgłosić tutaj: https://github.com/AdguardTeam/AdguardFilters/issues

MajkiIT commented 3 years ago

@mariusz689 no mnie ciekawi gdzie się łączy dokładnie ten falownik. Przydał by się rejestr chronologiczny z listą jakie domeny są blokowane itp. Najlepiej tak jak napisał @zaba-monika ustawić listę Adgurd DNS i patrzyć co blokuje. Na razie to zgadujemy i bazujemy na tym co się ujawni.

krystian3w commented 3 years ago

Nic nie jest blokowane, DNS nie wyrabia i robi się lag 20000 - 60000 ms, przez co aplikacja myśli że nie ma internetu.

mariusz689 commented 3 years ago

Załadowałem ten filtr DNS i coś takiego się zrobiło Screenshot_2020-11-29-21-13-21-176_com adguard android contentblocker Czy poprawnie lista została załadowana ?

krystian3w commented 3 years ago

Źle, załadowałeś kod html jako filtry własne. Dodatkowo chyba wersje ze sklepu play, czyli ta co nie ma opcji filtrowania jako VPN.

Powinieneś użyć tej: https://adguard.com/pl/adguard-android/overview.html

Jak dla mnie winny jest czas odpowiedzi ze serwera wynoszący 20-60 sekund, apka pewnie przewiduje opóźnienie maksymalnie do 1 sekundy.

zaba-monika commented 3 years ago

Jak dla mnie winny jest czas odpowiedzi ze serwera wynoszący 20-60 sekund

mariusz689 commented 3 years ago

Niestety nie mam zrootowanego telefonu więc chyba nici z podmianą pliku hosts na telefonie ?

@krystian3w serwer Huawei są zamulone czy serwer AdGuard DNS ?

krystian3w commented 3 years ago

Raczej serwery AdGuard DNS, że nie umie się dobić na chińskie Baidu w krótszym czasie niż 20 sekund.

mariusz689 commented 3 years ago

Przed chwilą ustawiłem na Mikrotik DNS AdGuard:

Dla "Bez filtrowania": 94.140.14.140

I problem z połączeniem nadal występuje. Ten rodzaj filtru "Bez filtrowania" jest chyba bez jakikolwiek blokad i ograniczeń - po prostu ruch przechodzi przez DNS bez żadnego blokowania, dobrze rozumiem?

mariusz689 commented 3 years ago

@krystian3w wygląda na to, że AdGuard ma problem z komunikacją z chińskim Baidu. Czyżby Baidu ogranicza w jakiś sposób ruch z serwerami AdGuard ? To dziwne dlaczego, logując się bez żadnego pomocniczego DNS mogę to zrobić bez problemu. (Czasami występują opóźnienia, mam wrażenie że aplikacja muli się przy logowaniu, bo niekiedy logowanie trwa 10-30sekund.) średnio co piąte logowanie tak wygląda.

AroKol78 commented 3 years ago

...Czyżby Baidu...

szpiegowało :laughing: (huawei is made in china (baidu/alibaba))

...bo niekiedy logowanie trwa...

MajkiIT commented 3 years ago

@krystian3w czyli jakby na MT zrobić statyczny wpis dla tej domeny to nie trzeba by było odpytywać serwerów Baidu i problem powinien rozstać rozwiązany ?

krystian3w commented 3 years ago

Jak pozwala on na przesłanie przez inny DNS (co wydaje się dziwne, ale "funkcjonalne") lub zmniejszy się opóźnienie to można próbować i może będzie ~99% skuteczność logowania bez komunikatów "sieć działa źle".

zaba-monika commented 3 years ago

mariusz689 : https://github.com/MajkiIT/polish-ads-filter/issues/17875#issuecomment-735458790 : Niestety nie mam zrootowanego telefonu więc chyba nici z podmianą pliku hosts na telefonie ?

mariusz689 : https://github.com/MajkiIT/polish-ads-filter/issues/17875#issuecomment-735469774 : Czyżby Baidu ogranicza w jakiś sposób ruch z serwerami AdGuard ?

mariusz689 commented 3 years ago

@AroKol78 czyli teorie o tym że Huawei szpieguje i wycofanie sprzętu tej marki z nadajników bts jest słusznym posunięciem ? :D

@MajkiIT "...nie trzeba by było odpytywać serwerów Baidu..." chyba powinno być "serwerów AdGuard" ?

@zaba-monika dzięki za instrukcje w wolnej chwili ustawię te host bez roota na telefonie.

Kilka godzin temu przy aktywnym AdGuard DNS na mikrotiku, spróbowałem zalogować się na swoje konto w aplikacji Fusionsolar na telefonie, dziwne ale się zalogowało. Kilka razy wyłączałem aplikację i uruchamiałem ją ponownie - i tak zalogowałem 5 razy z rzędu. To sobie pomyślałem, coś się naprawiło to szybko ruch z falownika puściłem przez Mikrotik z aktywnym AdGuard DNS i falownik pozytywnie nawiązał połączenie ze światem. Później jeszcze może raz lub dwa razy spróbowałem zalogować się do aplikacji fusionsolar na telefonie i później już wyświetlał się błąd. Ale uwaga falownik nadal ma połączenie ze światem. Aplikacja na telefonie Fusionsolar czasami się loguje czasami jest "błąd połączenia z internetem" - (Przy aktywnym filtrze AdGuard DNS na Mikrotik). Chyba falownik podczas nowego połączenia z internetem wysyła jakąś prośbę o uwierzytelnienie konta (połączeniem z Baidu) a później łączy się tylko z tą chmurą Orange w celu synchronizacji danych. dobrze myślę ? Czyli nie jest winny wpis w filtrze AdGuard tylko jakieś opóźnienie między serwerami tak jak pisał @krystian3w , zgadza się?

@zaba-monika napisałaś że jakiś wpis w AdGuard DNS blokuje ruch z jakąś domeną, ale AdGuard udostępnia też DNS z opcją bez filtrowania. Mają też filtr DNS "ochrona rodzinna" na każdym DNS pojawiały się problemy. W jakim celu AdGuard udostępnia DNS z opcją "bez filtrowania" ?

W takiej sytuacji gdzie leży problem?, bo już sam nie wiem.

zaba-monika commented 3 years ago

mariusz689 : W jakim celu AdGuard udostępnia DNS z opcją "bez filtrowania" ?

AdGuard : Zwróć uwagę: serwery DNS "Bez filtrowania" dostarczają bezpieczne i niezawodne połączenie, ale nie filtrują niczego jak serwery "Domyślne" i "Rodzinne". Nie używaj ich proszę jeśli nie wiesz co robisz.

mariusz689 : Czyli nie jest winny wpis w filtrze AdGuard tylko jakieś opóźnienie między serwerami tak jak pisał @krystian3w , zgadza się?

mariusz689 : W takiej sytuacji gdzie leży problem?, bo już sam nie wiem.

AroKol78 commented 3 years ago

https://github.com/MajkiIT/polish-ads-filter/issues/17875#issuecomment-736135771

AroKol78 czyli teorie o tym że Huawei szpieguje i wycofanie sprzętu tej marki z nadajników bts jest słusznym posunięciem ? :D

jakiś czas temu abw zatrzymało przedstawiciela Huawei co do nadajników bts - ogólnie mi nie przeszkadzają, pytanie kto będzie miał nad nimi rzeczywistą kontrolę

mariusz689 commented 3 years ago

Umieściłem komentarz w drugim wątku. Kilka godzin temu pobrałem AdGuard z oficjalnej strony a nie ze sklepu google i teraz aplikacja AdGuard działa prawidłowo. Jest pełny log z połączeń i w logach jest informacja między innymi o pingu 20000-60000ms . Jeśli chcecie możecie wejść w mój drugi wątek i zobaczyć screeny z logami z aplikacji. Ciekawe czy to naprawią.

krystian3w commented 3 years ago

Ja widziałem dokładnie to samo co na twoich zrzutach:

obraz obraz

Może polska infrastruktura internetowa jest wymagana do odtworzenia błędów.

zaba-monika commented 3 years ago

A mnie zastanawia pewna rzecz: