thedeemling
commented
1 week ago Brzmi jak mój błąd w obsłudze dat w przypadku, kiedy energa zwróciła estymowany punkt historyczny: https://github.com/thedeemling/hass-energa-my-meter/blob/main/custom_components/energa_my_meter/hass_integration/data_updater.py#L85
Z jakiegoś powodu w tym przypadku Energa nie zwraca daty (a ja używam jej tylko do wypisania informacji do debugu... więc zupełnie bez sensu w tym przypadku spowodowałem błąd ;)) https://github.com/thedeemling/hass-energa-my-meter/blob/main/custom_components/energa_my_meter/hass_integration/data_updater.py#L89
Punkty estymowane i tak są porzucane, bo nie mogę ich zaktualizować potem faktycznymi danymi.
Zastanawia mnie tylko, czemu masz estymaty w danych historycznych...? Myślałem, że Energa je zwraca tylko dla aktualnych danych.
Dziś wieczorem poprawię ten błąd w kodzie z próbą wypisania do kodu pustej daty (żeby nie wyrzucał takimi brzydalami), ale żeby się upewnić, że algorytm działa... Czy mógłbyś:
- Włączyć sobie logi w trybie debug
- Zobaczyć, z jakimi parametrami odpytujemy API Energi o dane historyczne
- Zobaczyć, czy faktycznie idą tam estymaty/podesłać plik (po depersonalizacji, oczywiście), żebym mógł przeanalizować?
Dodam, że ja mam tylko licznik jednokierunkowy, więc ciężko mi to sprawdzić samodzielnie :(
jj641
paki111
Wiem, że ładowanie danych historycznych jest ustawione paczkami po 60 dni (1440 rekordy statystyk godzinowych). Załadowałem tak wczoraj dla kilku liczników po 730 dni, czyli max co daje nam platforma mójlicznik. Dla standardowych liczników konsumenckich gdzie jest tylko energia pobrana z sieci, wszystko działa prawidłowo.
Niestety zauważyłem, że dla liczników prosumenckich (dwukierunkowych) gdzie są dwie encje statystyczne czyli energia pobrana z sieci i oddana do sieci, nie ładują się wszystkie dane dla maksymalnego okresu 730 dni. Ponawiałem przez inicjalizację ręczną oraz przez ustawianie różnych czasów aktualizacji automatycznej.
Na początku wszystko wyglądało prawidłowo. Załadowały się dwie pierwsze paczki po 60 dni czyli dostałem 2880 rekordów dla każdej encji. Później się okazało, że kolejne paczki już się nie ładują. Podejrzewam, że w pierwszej fazie integracja pobiera dane, bo zauważyłem jak po inicjalizacji procesor pracuje, ale dużo dłużej niż dla licznika z jedną encją i w pewnym momencie przestaje a dane nie lądują w bazie. Z pamięcią RAM jest ok, tzn. nie przepełnia się a sam HA nie natrafia na żaden błąd krytyczny. Poniżej zrzut z bazy jak wygląda podsumowanie ilościowe statystyk ze wszystkich liczników gdzie mam pełną historię 730 dni.
To jest wycinek logów, który wydaje się najlepszy:
Załączam jeszcze dodatkowe logi. W pierwszym widać encję energy_consumed, ale nie widać energy_produced. W drugim logu po dodaniu licznika na nowo, czyli ładowaniu danych od początku, widać
Updating the statistics data for mode ENERGY_PRODUCED, no ale to ładowanie powtarza się tylko 2 razy i trafiamy na opisywany przeze mnie problem z kolejnymi paczkami. my_meter.log mymeter.logPo restarcie HA jak ładują się wszystkie liczniki, inicjalizacja jest ponawiana do skutku i finalnie wszystko się prezentuje prawidłowo. Na licznikach dociągają się bieżące rekordy statystyk (np. po kilka sztuk od poprzedniego ładowania). No ale z wyjątkiem liczników dwukierunkowych, bo niby są zainicjowane, ale brakujące paczki danych się nie ładują. Nie generują się też statystyki dla danych aktualnych. Czy świeże dane będą pobierane dopiero po ściągnięciu całej historii?
Próby dla okresy krótsze niż 730 dni
Dalej aby przyspieszyć ładowanie danych na nowo, robiłem testy tylko dla jednego z tych dwóch liczników dwukierunkowych.
Dla krótszego okresu np. 190 dni problem nie wystąpił i załadowało się więcej niż 2 paczki. Bez problemu udało się ściągnąć komplet danych.
Przy kolejnej próbie z okresem 650 dni, było dziwne zachowanie, bo załadowała się pierwsza paczka niepełna, bo 1439 rekordów dla każdej z dwóch encji. Druga paczka już nie chciała się załadować. Może właśnie ten brakujący rekord spowodował błąd
AttributeError: 'EnergaHistoricalPoint' object has no attribute 'date_to'Przy kolejnej próbie z dodaniem licznika na nowo, skróciłem okres na 550 dni żeby wyeliminować potencjalny błąd w danych jaki wyszedł już w pierwszej paczce dla okresu 650 dni. Przy jednym z odświeżeń trafiłem na timeout ze strony platformy mójlicznik i załadowała się część paczki, po odświeżeniu chyba załadowała się kolejna część, ale ostatecznie nie poszło.
Przy kolejnej próbie z dodaniem licznika na nowo, skróciłem okres jeszcze bardziej, tym razem na 515, bo tak mniej więcej mi wyszło z logów i moich obliczeń, że tam gdzieś po drodze są rekordy z błędem w danych. W przeciwieństwie do poprzednich dwóch prób, tym razem pierwsza i druga paczka załadowały się kompletne i bez time outów. Załadowała się też trzecia paczka czyli jest postęp 😄 Wywaliło się w czwartej paczce.
Podsumowanie
Te wszystkie próby i analiza dla różnych przypadków doprowadziły mnie do wniosku, że trzeba zrobić fixa na obsługę błędu w danych, może jakiś null, może to:
AttributeError: 'EnergaHistoricalPoint' object has no attribute 'date_to'. Przypadek dotyczy prawdopodobnie tylko energii oddawanej do sieci.