Day statistics are lagging behind

KiefDelicious commented 2 years ago

Issue

Hi,

Ik heb sinds kort dat mijn archief niet meer bijgewerkt word, en kan niet achterhalen doe dat komt:

DSMR-READER
    App / Python / Database                                                      v4.19 / v3.10.0 / postgresql
    BE sleep / DL sleep / Retention / Override                                       1.0s / 0.5s / -h / False
    Latest telegram version read / Parser settings                                                 "42" / "4"

DATA
    Telegrams total (est.)                                                                            4155907
    Consumption records electricity / gas (est.)                                               642816 / 12529

UNRESOLVED ISSUES
    Day statistics are lagging behind                                                    4 days, 12 hours ago

POSTGRESQL SIZE OF LARGEST TABLES (> 500 MB)
    public.dsmr_datalogger_dsmrreading                                                                1123 MB

En kan eigenlijk niet vinden waar dat aan ligt. Ik heb DEBUG logging aan staan, zie bijlage (voor Portainer log), maar zie niks vreemds, kan ik op een of andere manier het proces niet forceren?. Ik draai op een synology DSM 6.2

Het zal vast iets stoms zijn, maar loop na lang zoeken toch echt vast. en gezien ik ook geen idee heb hoe ik deze commando's moet runnen: sudo supervisorctl restart dsmr_backend, zou een duwtje in de juiste richting helpen :)

EDIT Ik zie nu dat mijn gas meter sinds donderdag zo te zien niks meer doorgeeft. Ik zie wel live data van elektra, maar niet van gas, zou dat er mee te maken hebben?

Which version has the issue?

xirixiz/dsmr-reader-docker:latest

What was the last working version?

xirixiz/dsmr-reader-docker:latest

What type of installation are you running (architecture)?

Other

Anything in the logs that might be useful?

_dsmr_logs.txt

Additional information

Docker Compose

version: '3.2'
services:
  dsmrdb:
    # When using Postgres, release 12.x is supported only
    # due to the limited availability of client packages, especially for arm32v7
    image: postgres:12.4-alpine
    container_name: dsmr_db
    restart: always
    volumes:
      - /volume1/docker/dsmr/db:/var/lib/postgresql/data
    environment:
      - TZ=Europe/Amsterdam
      - PG_TZ=Europe/Amsterdam
      - POSTGRES_USER=dsmrreader
      - POSTGRES_PASSWORD=*********
      - POSTGRES_DB=dsmrreader
    networks:
      - local-energy
  dsmr:
#    build: .
    image: xirixiz/dsmr-reader-docker:latest
    container_name: dsmr
    depends_on:
      - dsmrdb
    cap_add:
      - NET_ADMIN
    restart: always
    volumes:
      - /volume1/docker/dsmr/backups:/dsmr/backups
    environment:
      - TZ=Europe/Amsterdam
      - DJANGO_TIME_ZONE=Europe/Amsterdam
      - VIRTUAL_HOST=localhost
      - DSMRREADER_ADMIN_PASSWORD=*********
      - DSMRREADER_LOGLEVEL=DEBUG
    networks:
      - local-energy
    ports:
      - 7777:80
      - 7779:443
    devices:
      - /dev/ttyUSB0:/dev/ttyUSB0
networks:
  local-energy:
   name: local-energy

xirixiz commented 2 years ago

Dit lijkt er inderdaad op dat er of geen data binnen komt of de data inconsistent is. Dit is overigens meer DSMR Reader gerelateerd dan Docker gerelateerd. Ik voeg daarom de big king himself even toe :) @dennissiemensma.

Je kan ook een issue aanmaken op: https://github.com/dsmrreader/dsmr-reader/issues ...en dat is meteen een goede reminder voor mijzelf om daar ook wat vaker support te bieden.

dennissiemensma commented 2 years ago

@KiefDelicious als je gasmeter (opeens) geen metingen meer doorgeeft dan houdt dat inderdaad de verwerking tegen van de dagstatistieken.Dsmrreader gaat er dan niet helemaal lekker mee om, want dat wachten is meer bedoeld voor de v4 meters om ervoor te zorgen dat er geen dagstatistieken gemaakt worden zonder dat de laatste gasstand van de vorige dag binnen is (die soms ver na middernacht komt). In jouw geval kun je ofwel je gasmeter laten fixen, of als dat te lang duurt: in dsmrreader (tijdelijk) gasmetingen laten negeren. Dan zou die verder moeten gaan maar toont die dus ook nergens meer gas in de interface. Het is een vinkje ergens bij de datalogger instellingen dacht ik in de admin.

dennissiemensma commented 2 years ago

Dit vinkje: https://github.com/dsmrreader/dsmr-reader/issues/1397#issuecomment-850622027

KiefDelicious commented 2 years ago

Dank voor jullie help, ik ga Stedin bellen! 1 klein vraag je nog voor de volgende keer als ik moet troubleshooten, hoe run in sudo supervisorctl restart dsmr_backend in de docker container (maw, hoe voer ik herstart uit van de backend,datalogger,webinterface volgens https://dsmr-reader.readthedocs.io/nl/latest/how-to/troubleshooting/logfiles.html)

KiefDelicious commented 2 years ago

@KiefDelicious als je gasmeter (opeens) geen metingen meer doorgeeft dan houdt dat inderdaad de verwerking tegen van de dagstatistieken.Dsmrreader gaat er dan niet helemaal lekker mee om, want dat wachten is meer bedoeld voor de v4 meters om ervoor te zorgen dat er geen dagstatistieken gemaakt worden zonder dat de laatste gasstand van de vorige dag binnen is (die soms ver na middernacht komt). In jouw geval kun je ofwel je gasmeter laten fixen, of als dat te lang duurt: in dsmrreader (tijdelijk) gasmetingen laten negeren. Dan zou die verder moeten gaan maar toont die dus ook nergens meer gas in de interface. Het is een vinkje ergens bij de datalogger instellingen dacht ik in de admin.

Even voor de compleetheid, Ik heb Stedin gebeld, die zegt dat ik minimaal 14 dagen moet wachten, naja gaat hem vast niet worden maar ik wacht geduldig. Stel ik zet nu het vinkje uit (dank daardoor), en mocht het uiteindelijk verholpen zijn, zet ik het vinkje weer aan, ben ik dan niet alle Gas data uit het verleden kwijt (maar alleen de periode dat ik geen gasstanden door heb gekregen)?

xirixiz commented 2 years ago

In docker kan je dat niet. Het snelste, beste en meest betrouwbare is gewoon de Docker container even te herstarten. Maar bedankt voor de terugkoppeling en mooi dat de oorzaak naar alle waarschijnlijkhed achterhaald is.

dennissiemensma commented 2 years ago

Stel ik zet nu het vinkje uit (dank daardoor), en mocht het uiteindelijk verholpen zijn, zet ik het vinkje weer aan, ben ik dan niet alle Gas data uit het verleden kwijt (maar alleen de periode dat ik geen gasstanden door heb gekregen)?

@KiefDelicious correct, oude data blijft staan. Het vlaggetje wordt vooral gebruikt in de weergave en het aangeven dat er geen gas is (als dat er eerder wel was).

KiefDelicious commented 2 years ago

Stel ik zet nu het vinkje uit (dank daardoor), en mocht het uiteindelijk verholpen zijn, zet ik het vinkje weer aan, ben ik dan niet alle Gas data uit het verleden kwijt (maar alleen de periode dat ik geen gasstanden door heb gekregen)?

@KiefDelicious correct, oude data blijft staan. Het vlaggetje wordt vooral gebruikt in de weergave en het aangeven dat er geen gas is (als dat er eerder wel was).

Top, Nogmaals dank beide voor de hulp!

xirixiz / dsmr-reader-docker