After latest update no data readings anymore

canedje commented 3 years ago

Setup/Architecture information

Setup as docker under Unraid

Version of the Docker image

I just installed the latest version 4.16.3

Configuration


Add your docker(-compose) config file here.
root@localhost:# /usr/local/emhttp/plugins/dynamix.docker.manager/scripts/docker run -d --name='DSMRreader' --net='bridge' -e TZ="Europe/Berlin" -e HOST_OS="Unraid" -e 'DJANGO_DATABASE_HOST'='192.168.2.230' -e 'DSMRREADER_ADMIN_USER'='canedje' -e 'DSMRREADER_ADMIN_PASSWORD'='JoNiDa-001' -e 'DJANGO_DATABASE_USER'='dsmrreader' -e 'DJANGO_DATABASE_PASS'='dsmrreader' -e 'DJANGO_TIME_ZONE'='Europe/Amsterdam' -e 'DATALOGGER_MODE'='receiver' -e 'DATALOGGER_SERIAL_PORT'='|/dev/ttyUSB0' -e 'DATALOGGER_SERIAL_BAUDRATE'='|115200' -e 'VIRTUAL_HOST'='localhost' -e 'DJANGO_DATABASE_NAME'='dsmrreader' -e 'DJANGO_DATABASE_PORT'='5432' -e 'DATALOGGER_SLEEP'='10' -e 'PUID'='99' -e 'PGID'='100' -e 'SD_USER'='nobody' -e 'SD_GROUP'='users' -p '8888:80/tcp' -v '/mnt/user/appdata/dsmr-reader/backups':'/home/dsmr/app/backups':'rw' --device='/dev/ttyUSB0' 'xirixiz/dsmr-reader-docker'
487dec45c246ee1cb00286a498fd97f11ac6d3acbdb1d6f3cdad75eb739111c7

Describe the bug

A clear and concise description of what the bug is. After latest update the docker is not reading new values anymore The webui is just starting. But not updating Is it possible to go back to version before? (My current repository: xirixiz/dsmr-reader-docker) How to change to go version back?

Debug log

DSMR-READER App / Python / Database v4.16.3 / v3.9.5 / postgresql BE sleep / DL sleep / Retention / Override 15.0s / 15.0s / 4032h / False Latest telegram version read / Parser settings "50" / "4"

DATA Telegrams total (est.) 897784 Consumption records electricity / gas (est.) 244387 / -

UNRESOLVED ISSUES No recent readings received 3 hours


Add your logs here.
Docker log:
Operations to perform:
Apply all migrations: admin, auth, contenttypes, dsmr_api, dsmr_backend, dsmr_backup, dsmr_consumption, dsmr_datalogger, dsmr_dropbox, dsmr_frontend, dsmr_influxdb, dsmr_mindergas, dsmr_mqtt, dsmr_notification, dsmr_pvoutput, dsmr_stats, dsmr_weather, sessions
Running migrations:
No migrations to apply.

562 static files copied to '/var/www/dsmrreader/static'.
Updating password of superuser "canedje"
Deactivating any other existing superusers
2021-05-31 11:55:29,559 INFO Set uid to user 0 succeeded
2021-05-31 11:55:29,573 INFO RPC interface 'supervisor' initialized
2021-05-31 11:55:29,574 INFO supervisord started with pid 18
2021-05-31 11:55:30,578 INFO spawned: 'dsmr_backend' with pid 20
2021-05-31 11:55:30,584 INFO spawned: 'dsmr_webinterface' with pid 21
2021-05-31 11:55:30,588 INFO spawned: 'nginx' with pid 22
2021-05-31 11:55:32,117 INFO success: dsmr_backend entered RUNNING state, process has stayed up for > than 1 seconds (startsecs)
2021-05-31 11:55:32,117 INFO success: nginx entered RUNNING state, process has stayed up for > than 1 seconds (startsecs)
2021-05-31 11:55:34,467 INFO success: dsmr_webinterface entered RUNNING state, process has stayed up for > than 3 seconds (startsecs)

xirixiz commented 3 years ago

Dat ziet er goed uit... de logging dan :).

Je kan het beste even "inloggen" op de draaiende container en de logfiles van dsmr reader bekijken (pad kan je zien in docker logs)

Staat hier wellicht nog een melding? http(s)://<dsmr reader url>/about

Je kan ook versie latest-2021.05.05- eens proberen of je dan wel weer data binnen ziet komen? Dan weet je iig of het echt aan de laatste release ligt. https://hub.docker.com/r/xirixiz/dsmr-reader-docker/tags?page=1&ordering=last_updated

canedje commented 3 years ago

DAnk je voor het antwoord. Ik heb in logs in de console gekeken van de DSMR reader daar staat niks in about:

Als ik een versie terug wil hoe ziet mijn repository string er dan uit? Mijn huidige string is : xirixiz/dsmr-reader-docker

oeps ben nu mijn hele docker kwijt verkeerde respository ingevuld: xirixiz/dsmr-reader-docker:latest-2021.05.05 Nu ben ik al mijn settings kwijt

xirixiz commented 3 years ago

Met docker exec -ti <dsmr> bash kan je in de container kijken. In dit pad vind je dan de logfiles: [ INFO ] Logfiles can be found at: /var/log/supervisor/*.log and /tmp/supervisord.log

Ik denk dat je deze tag moet gebruiken, welke onderliggende hardware gebruik je voor unraid? xirixiz/dsmr-reader-docker:latest-2021.05.05-amd64

canedje commented 3 years ago

Ik gebruik een NUC

xirixiz commented 3 years ago

Dan kan je idd de amd64 tag gebruiken

canedje commented 3 years ago

Heb ik net gedaan en idd ook niet waardes inlezen. Wat een vreemd fenomeen. Ik snap je "in je container" kijken niet. Ik heb een console mogelijkheid in de Unraid dsmr reader module die geeft: Of ik kan een terminal openen in Unraid. Daar kan ik als ik naar de hoofdirectory ga dit zien:

Ik gebruik de P1 poort van mijn slimme lezer die staat als /dev/ttyUSB0 kan het zijn dat die poort is veranderd? EDIT: nee als ik een andere poort kies start de docker helemaal niet op het zal dus wel de goede poort zijn

Echt geen idee hoe dit nu kan. Heb van alles geprobeerd. USB poort in en uit docker helemaal olpnieuw opgezet. Het gebeurde echt meteen na het updaten. Wat vreemd is dat als ik een versie terugga hij niet blijft werken Wat ook vreemd is dat mijn Docker nu geen webui knop meer heeft en ik handmatig met het ip adres naar de reader moet gaan Ik hoop dat je nog een tip hebt

Nog een vraag. Ik heb een usb kabel van mijn NUC naar de slimmemeter P1 aansluiting. Dan is mijn datalogger mode toch recieve?

xirixiz commented 3 years ago

Hehehe, sorry, ik ga uit van kennis van Docker.

Docker draait op images.
Images zijn static
Wanneer je een Docker image start wordt het een container
Je kan dan inloggen op een container door gebruik te maken van de naam van de container, als voorbeeld heb ik gegeven ;).
Vergelijk een container met een mini stukje OS met puur de basis om een applicatie oid te starten. Een soort van VM (nou ja, heel grof genomen) maar dan ini mini vorm.

Die webterminal lijkt idd dat je dan "in de container" zit. Je zou van daaruit de logfiles kunnen bekijken. Heb je de P1 kabel al een keer opnieuw aangesloten? Mss unraid een keer herstarten?

canedje commented 3 years ago

Die webterminal lijkt idd dat je dan "in de container" zit. Je zou van daaruit de logfiles kunnen bekijken. Heb je de P1 kabel al een keer opnieuw aangesloten? Mss unraid een keer herstarten?

beide gedaan idd. Ik zie een directory "logs" die is leeg Ook Liander gebeld, wellicht toevallig een storing. Maar die is niet bekend. Het is ook uitermate vreemd dat het gelijk met een update gebeurt Volgens mij heb ik alles geprobeerd

xirixiz commented 3 years ago

Nog een vraag. Ik heb een usb kabel van mijn NUC naar de slimmemeter P1 aansluiting. Dan is mijn datalogger mode toch recieve?

Wanneer DSMR niet verdeeld is in meerdere installaties, dus zeg maar een data collector en de webinterface, dan betreft het een standalone installatie. Wanneer je het als receiver hebt gedefinieerd, dan is dat niet correct en kan ik het issue begrijpen. Ik ken unraid niet goed maar wanneer standalone mode niet werkt, dan kan je ook direct P1 uitlezen via USB.

Maar goed, ik denk dat het probleem zit in jouw configuratie:

root@localhost:# /usr/local/emhttp/plugins/dynamix.docker.manager/scripts/docker run -d --name='DSMRreader' --net='bridge' -e TZ="Europe/Berlin" -e HOST_OS="Unraid" -e 'DJANGO_DATABASE_HOST'='192.168.2.230' -e 'DSMRREADER_ADMIN_USER'='canedje' -e 'DSMRREADER_ADMIN_PASSWORD'='JoNiDa-001' -e 'DJANGO_DATABASE_USER'='dsmrreader' -e 'DJANGO_DATABASE_PASS'='dsmrreader' -e 'DJANGO_TIME_ZONE'='Europe/Amsterdam' -e 'DATALOGGER_MODE'='receiver' -e 'DATALOGGER_SERIAL_PORT'='|/dev/ttyUSB0' -e 'DATALOGGER_SERIAL_BAUDRATE'='|115200' -e 'VIRTUAL_HOST'='localhost' -e 'DJANGO_DATABASE_NAME'='dsmrreader' -e 'DJANGO_DATABASE_PORT'='5432' -e 'DATALOGGER_SLEEP'='10' -e 'PUID'='99' -e 'PGID'='100' -e 'SD_USER'='nobody' -e 'SD_GROUP'='users' -p '8888:80/tcp' -v '/mnt/user/appdata/dsmr-reader/backups':'/home/dsmr/app/backups':'rw' --device='/dev/ttyUSB0' 'xirixiz/dsmr-reader-docker'
487dec45c246ee1cb00286a498fd97f11ac6d3acbdb1d6f3cdad75eb739111c7

Ik zie er allerlei variabelen in staan die helemaal niet gedefinieerd moeten zijn zoals DATALOGGER_SERIAL_PORT en DATALOGGER_SERIAL_BAUDRATE. Draait de database op dezelfde host als DSMR Reader? Loop de settings dus even goed na https://github.com/xirixiz/dsmr-reader-docker/blob/master/README.md want zover ik het nu kan beoordelen kan dit nooit naar behoren functioneren.

Tip: Begin met een zo eenvoudig mogelijke configuratie.

xirixiz commented 3 years ago

Enigszins aangepast voor jou, maar niet alles, het dient dus meer als voorbeeld:

function dsmrdb() {
    NAME=dsmrdb
    IMAGE=postgres:12-alpine
    docker_rm
    docker pull "${IMAGE}"
    docker run --detach \
               --name ${NAME} \
               --restart always \
               --volume /etc/localtime:/etc/localtime:ro \
               --volume ${DOCKERHOME}/data/dsmr/data:/var/lib/postgresql/data:rw \
               --env "POSTGRES_USER=dsmrreader" \
               --env "POSTGRES_PASSWORD=dsmrreader" \
               --env "POSTGRES_DB=dsmrreader" \
               --env "PUID=99" \ 
               --env "PGID=100" \
               --env "TZ=Europe/Amsterdam" \
               --network bridge \
               ${IMAGE}
    echo "* Sleeping for 5 seconds before starting DSMR..."
    sleep 5s
}

function dsmr() {
    NAME=dsmr
    IMAGE=xirixiz/dsmr-reader-docker:latest
    docker_rm
    docker pull "${IMAGE}"
    docker run --detach \
               --publish 8888:80 \
               --name ${NAME} \
               --restart always \
               --tty \
               --volume /etc/localtime:/etc/localtime:ro \
               --volume /mnt/user/appdata/dsmr-reader/backups:/home/dsmr/app/backups:rw \
               --device /dev/ttyUSB0:/dev/ttyUSB0 \
               --cap-add NET_ADMIN \
               --env "HOST_OS=Unraid" \
               --env "VACUUM_DB_ON_STARTUP=true" \
               --env "SD_LOGLEVEL=info" \
               --env "DJANGO_DATABASE_HOST=dsmrdb" \
               --env "DJANGO_DATABASE_USER=dsmrreader" \
               --env "DJANGO_DATABASE_PASSWORD=dsmrreader" \
               --env "DJANGO_DATABASE_PORT=5432" \
               --env "DSMRREADER_LOGLEVEL=WARNING" \
               --env "DSMRREADER_ADMIN_USER=canedje" \
               --env "DSMRREADER_ADMIN_PASSWORD=JoNiDa-001" \
               --env "PUID=99" \ 
               --env "PGID=100" \
               --env "TZ=Europe/Amsterdam" \     
               --env "VIRTUAL_HOST=localhost" \          
               --network bridge \
               ${IMAGE}
}

canedje commented 3 years ago

Dank je voor de moeite Geen idee waar die variabelen vandaan komen. Die heb ik niet ingevoerd. In Unraid moet je een invoerveld invullen met variabelen. Daar staan deze niet tussen en vult hij dus blijkbaar zelf aan. voorbeeld hoe een invoer veld er uitziet in Unraid Docker: dsmrnieuw1 dsmrnieuw2 dsmrnieuw3

Ik heb nu zelf e.e.a. gecorrigeerd in DockerMan files (De template voor een docker)en heb nu dit:

root@localhost:# /usr/local/emhttp/plugins/dynamix.docker.manager/scripts/docker run -d --name='DSMRReader' --net='bridge' -e TZ="Europe/Berlin" -e HOST_OS="Unraid" -e 'DJANGO_DATABASE_HOST'='192.168.2.230' -e 'DSMRREADER_ADMIN_USER'='canedje' -e 'DSMRREADER_ADMIN_PASSWORD'='JoNiDa-001' -e 'DATALOGGER_MODE'='receiver' -e 'DJANGO_DATABASE_USER'='dsmrreader' -e 'DJANGO_DATABASE_PASSWORD'='dsmrreader' -e 'VIRTUAL_HOST'='localhost' -e 'DJANGO_DATABASE_PORT'='5432' -e 'DJANGO_DATABASE_NAME'='dsmrreader' -e 'DATALOGGER_SLEEP'='10' -e 'PUID'='99' -e 'PGID'='100' -e 'SD_USER'='nobody' -e 'SD_GROUP'='users' -p '8888:80/tcp' -v '/mnt/user/appdata/dsmr-reader/backups':'/home/dsmr/app/backups':'rw' --device='/dev/ttyUSB0' 'xirixiz/dsmr-reader-docker'
bbeecec22a413de71566b30bc6cae113ca0b3f3da0d02c03db33632002bd09cb

Helaas nog zonder resultaat. Ik begin bijna te geloven dat mijn P1 poort van mijn slimme meter geen data verstuurd

Het vreemde is dat ik dit altijd heb gebruikt zonder aanpassingen en het altijd heeft gewerkt Dus ook met die vreemde variabelen

xirixiz commented 3 years ago

Volgens mij moet je alleen nog de datalogger mode aanpassen naar standalone....

canedje commented 3 years ago

Dat heb ik ook al is geprobeerd, zonder resultaat maar ik probeer het nog is

canedje commented 3 years ago

YES! wow wat een bevalling Dank je wel!

xirixiz commented 3 years ago

Eerlijk gezegd denk ik nog steeds dat het aan de configuratie ligt en niet aan de P1 poort. Ik ben eerlijk gezegd helemaal niet bekend met deze setup en dat maakt het latig te trouble shooten. Ik vind de variabelen heel vreemd die ik zie, ik weet niet waar ze vandaan komen, maar het kan er ook niet zomaar uit het niets komen.

Hoe dan ook ligt het niet aan de laatste Docker release maar heeft het issue een andere oorzaak. Je mag uiteraard nog reageren voor hulp hier, maar ik sluit het issue wel om misverstanden te voorkomen :).

canedje commented 3 years ago

Nee blijkbaar aan de configuratie idd wat wel vreemd is omdat het niet is veranderd, behalve een update. Maar nogmaals enorm bedankt ben er erg blij mee

xirixiz / dsmr-reader-docker