Fura értékek a letöltött adatokban.

[csomyy]

Látszólag megy a rendszer, látszólag hiba nélkül logol az AppDaemon, de csak nem akar összeállni az Energy dashboard. Az adatokat vizsgálva azt veszem észre, hogy a letöltött adatokban az 2.8.0 adatsorban időről időre csökkenő értékek szerepelnek, holott nem szabadna a logika szerint és az EON saját grafikonján sincs ilyen a 2.8.0 értékekben.

[amargo]

Ilyennek biztosan nem szabad lennie, a legkönnyebben az adatbázisból tudod kideríteni mi történt a states táblából.

Nálam helyesen így néz ki:

A 2.8.0-hoz pedig a script nem nyúl hozzá, azt csak a DB-be rakja.

[csomyy]

Köszi. A saját képességemen belül túrom már a DB-t, de még nem állt össze a nagy kép. A paraméterekben a z 'Offset' és a 'numdays' melyik script esetében mit csinál (offset mindkettőben van).

[amargo]

Még az jutott eszembe, hogy az eon.yam-t megtudnád osztani, csak ne legyenek benne érzékeny adatok.

[csomyy]

Eon: module: read_eon class: Eon eon_url: 'https://energia.eon-hungaria.hu/W1000' username: '*@gmail.hu' password: '**.'

report_id: '***'

chart_id: '***'

report_id: '' chart_id: '' last_reset: "2022-01-11T11:25:00+00:00" every_hour: 1 hyphen: '*' offset: -200 host: 192.168.1.73 username_db: **** password_db: ** database: homeassistant 1_8_0_sensor: sensor.eon_1_8_0_energy_total 2_8_0_sensor: sensor.eon_2_8_0_energy_total positive_a_energy: sensor.eon_positive_a_energy_power negative_a_energy: sensor.eon_negative_a_energy_power

[csomyy]

Közben leellenőriztem, az EONnál szereplő adatok jók. Kimentettem táblázatos formában és nincs egymás után csökkenő érték.

[amargo]

az offset ne legyen ilyen kicsi max, ha elvesztek az adatok és init van, de az eon oldalán nem is tudom vissza lehet-e menni ennyire. Ugye azzal összhangban kell lennie. Ez azt jelenti, hogy -200 nappal kezdje leszedni az adatokat. Nálam ez -3. Továbbá óránként is felesleges leszedni, mert szerintem nem frissítik ennyire sűrűn az adatokat. Nálam ez az érték 8.

Próbáld ki ezekkel. Bevallom simán lehet, hogy a -200 miatt valami félre megy, így sosem teszteltem.

[csomyy]

Rendben. Konszolidálom az értékeket. Igazából ha nincsenek visszamenő adatok, az is jó, ha összeáll. Állítok rajta és visszajelzek.

[csomyy]

És másr van is info. Ellenőriztem az adatokat az EON honlapon, és bőven van visszafelé, így felírtam -10-ra a napokat (most csak az eon script fut, a normalize eneregy nem). A hiba azonnal megjelent, a 10 nappal ezelőtti adatot beírja az adatbázisba aktuális értékként (ami valahol logikus, mert most tölti le). Valószínűleg, ha 0-ra, venném az offsetet, gond nélkül menne, hisz adott pillanatban az aktuális értéket olvasná ki. Szóval az a baj, hogy a korábbi adatok letöltése megzavarja.

[amargo]

Szinte biztos valami félre ment a -200-as értéknél ezek alapján.

Én javaslom, hogy ne legyen kevesebb, mint ami az EON honlapján is megadtál. Ha folyamatosan lekérdezed, akkor 2-3 nap áthidalásánál nem kell több.

[csomyy]

"mint ami az EON honlapján is megadtál" Ezt hogy érted? Ott szabadon választható az időszak. Vagy az ottani lekérdezés eredményével szoros összefüggésben van a letöltött adat? Tehát ha ott egy megtekintés alkalmával az utolsó napot nézem meg, és hagyom ott a táblázatot, akkor nem fogom tudni letölteni 4 napra visszamenőleg, mert nem lesz ott a lekérdezés eredménye? Ha így van, akkor ez nagyon sok mindent helyre tesz.! :D

[amargo]

Ezt a kis letöltőt egy scraper-ként kell elképzelni. Az eon api-ja számomra nem ismert. Vannak date-ek a lekérdezésben, de azok nem tudnak több adatott leszedni, mint ami az eon-os view-n van beállítva. Ez sajnos béna, de így tud jelenleg csak működni (igaz nem is néztem, hogy esetleg más querystring-et megenne-e esetleg). Ha az eon-os view-n is nagyobb dátum range-et adsz meg, addig fogsz visszakapni adatokat (nálam ott szerintem 4-5nap), hiába állítod pl év elejére.

[csomyy]

Azt látom, hogy a grafikonon a görbe tetején lévő érték a hibás. A képen 5630 körüli értéket még nem érte el a rendszerbe feltöltött áram mennyiség, ami aktuálisan 5537 kWh, ami a HA görbe utolsó értéke. Tehát valahogy megszaporodik és az új letöltés helyre teszi az értéket. Az online eon oldalon továbbra is szép az adatforrás grafikonja.

[amargo]

Miből gondolod, hogy hibás? Mit látsz az eon oldalán a napi és a 15 perces fogyasztásoknál? A görbe azért lesz napon belül is görbe, mert a napi 00:00 órás értékre a 15 perces adatok rá vannak illesztve. Két nap között azaz két 00:00-s érték között vannak ott a 15 perces értékek.

Én itt inkább azt látom, hogy továbbra sem jó a napi értéked vélhetően vagy felcserélted a két oszlopot vagy valami más gond van, mivel.

Nálam így néz ki: Itt vannak a 15 perces adatok (az egész napot nem tudom felrakni):

Ha a tegnapi kezdő (7777,638) értékemhez hozzá adom a 15 perceseket napközben: Akkor látható, hogy pont a másnapi 7.8 kezdőértéket adja ki pontosan (7783,39).

[csomyy]

Abból gondolom, hogy baj van, hogy a 2.8.0 értékben csökkenés látható. Nem mondom, hogy a script, hiszen nálad is jól működik, csak szeretném helyre pofozni. Az EON oldalon a grafikon szép állandó emelkedő értéket mutat, hiszen a rendszer működéséből adódóan a mért értékek nem csökkenhetnek. Így néz ki a két táblázatom az eonos oldalon. 7-től vannak adatok.

[amargo]

A tárgy hónapos beállítás nem lesz jó, mert minden hónap elsején csak 1 napot fog közölni, hiába néznél 3-at.

Szerintem elsőnek töröld az összes adatot a devTools alatt és utána ereszd rá megint a scripteket. Látszólag teljesen más értékek vannak nálad mint az eon oldalán, bár azt én sem értem miért a rossz kezdőértékre illeszti a 15 perces adatokat, vélhetően a DB-ben valami félre csúszott egy korábbi probléma miatt.

[amargo]

Szia @csomyy , Sikerült megoldani?

[csomyy]

Hello. Nem. Ugyanaz. Olyna, mintha a letöltéskor hozzáadná az értékeket az előzőhöz, és utána meg helyre korrigálná. Az is fura, hogy az energy dasboardon az adataim majdnem 3xos értékkel bírnak, nap végén meg kikompenzálja egy nagy kiugrással így az egyenleg kb helyes. A 12 órai érték 25kWh betáplálás, ami lehetetlen, mert 10K rendszer van fent és rend szerint 7,5-8KW között termel csúcson.

[amargo]

A két script maga így működik, hogy letölt berögzít és korrigál. Máshogy nem lehet megoldani, a HA nem ad rá lehetőséget, hogy a rögzítés időpontját is beállíts insert-kor (de ennek is megvan az oka, hogy miért).

Az energy dashboard (statistics) adataival most nem is kell foglalkozni, azokat mindig is utólag fogja korrigálni.

Ami a fontos és probléma, hogy az read_eon.py adatai is furcsán kerülnek rögzítésre (ez a második ábrád ennek következmény az elsőn található óriási elcsúszás is), ott is van korrekció, ami egyből megtörténik (azaz nem külön script-ben van). Ehhez viszont log-ok kellenek és ott is érdemes a debug-ot bekapcsolni (ez rengeteg log-ot fog gyártani).

Az fixen látszódik, hogy ehhez a total-hoz kerülnek még olyan adatok is, amiknek nem kellene ott lennie ezért csapja vissza, mert éjfélkor korrigál (akkor már tudja, hogy mi volt az adott napi tényleges fogyasztás). Azaz a két vízszintes vonal közötti rész az adott napi fogyasztásod, de nálad valamiért a 15 perces adatok elcsúsznak, az is lehet, hogy valami a lokalizációval van összefüggésben és a lebegőpontos számokat nem megfelelően értelmezi (nem insensitive).

Nálad ezen a részen csúszik el valami: https://github.com/amargo/appdeamon-scripts/blob/5f90ec5348fc3d4df4a844dff6d41db96cfd6da4/eon/read_eon.py#L95

[csomyy]

A fentiek nekem is lecsapódtak, de a megoldást nem tudom. Amit lehet leellenőriztem, vagy 'gyári'ra állítottam. Újra copyztam a scriptet, töröltem az adatbázist és ellenőriztem a villanyóra lekérdezés beállításait, de nem találtam hibát. Van kedved megnézni?

[amargo]

Visual Studio Code van fent? Jövőhéten napközben szerintem lesz rá időm, hogy belenézzek :)

[csomyy]

A Visual Studio Code kérdést nem értem. Vágom, hogy mi az, de hol kéne fent lennie?

[csomyy]

Megértettem. Sajnos a VSC add-on nem kompatibilis a RPi3-as processzorával. :/

[amargo]

Megírom a megfejtést, hogy ne vesszen el. A lényeg, hogy az E.ON-os oldalon a 15 perces adatoknál kW volt beállítva a kWh helyett, ezt könnyű elnézni, mert bizonyos időben nagyon hasonló értékek vannak. Itt látszik is (https://github.com/amargo/appdeamon-scripts/issues/7#issuecomment-1179019992):

Ezzel zárom is az issue-t.