guillaumezin / DomoticzLinky

Linky plugin for Domoticz
GNU Affero General Public License v3.0
143 stars 26 forks source link

500 Internal Server Error #219

Closed jcsombret closed 7 months ago

jcsombret commented 9 months ago

Bonjour,

Depuis plusieurs jours la télécollecte de mes consommations ne marche plus.

Il m'est demandé dans les log de refaire une demande de consentement, ce que je fais depuis plusieurs jours et je tombe toujours sur le message "500 Internel Server Error"

J'ai fait une mise à jour du plugin mais rien y change.

Quelqu'un aurait-il une idée pour venir à mon secours ?

Avec tous mes remerciements

Ma version domoticz :

Version: 2022.2 Build Hash: eea9db734 Compile Date: 2022-11-05 13:05:35 dzVents Version: 3.1.8 Python Version: 3.7.3 (default, Oct 31 2022, 14:04:00) [GCC 8.3.0]

Tourne sur :

Raspberry PI 3b+

guillaumezin commented 9 months ago

Bonjour,

C'est une panne Enedis, qui tombe ultra mal parce que nous sommes également en train de migrer notre infrastructure intermédiaire de consentement. Il faudra patienter quelques jours, et probablement mettre à jour le plugin à l'issue de ces quelques jours.

empierre commented 9 months ago

ok, bon courage et tiens nous au courant, je n'ai rien depuis le 24 aout

On Thu, Sep 14, 2023 at 10:25 AM Guillaume Zin @.***> wrote:

Bonjour,

C'est une panne Enedis, qui tombe ultra mal parce que nous sommes également en train de migrer notre infrastructure intermédiaire de consentement. Il faudra patienter quelques jours, et probablement mettre à jour le plugin à l'issue de ces quelques jours.

— Reply to this email directly, view it on GitHub https://github.com/guillaumezin/DomoticzLinky/issues/219#issuecomment-1718991596, or unsubscribe https://github.com/notifications/unsubscribe-auth/ABXTDCRH4UJDGBS43SJEKRDX2K5ODANCNFSM6AAAAAA4XWFT4E . You are receiving this because you are subscribed to this thread.Message ID: @.***>

dltrainou commented 9 months ago

Bonjour a tous . Du neuf? il semble qu' Enedis linky soit reparti!! merci pour le taf et bonne journée

jcsombret commented 9 months ago

Bonjour,

Le message de "dltrainou", m'a donné espoir..... Mais je viens d'essayer et le problème persiste !!!!!!

LordDarkneo commented 9 months ago

Hello, Même soucis ici. Effectivement ca a l'air d'etre un soucis côté ENEDIS, un changement de la politique de partage de données (pour info Gazpar a aussi subitement arrété le partage des données Domoticz / utilisateurs il y a environ 2 ans)

empierre commented 9 months ago

bonjour,

Gazpar différent, ils ont mis un captcha et jamais d'API de partage... donc j'ai arrêté le plugins à cause de cela.

Je confirme pour moi aussi erreur 500.

On Fri, Sep 22, 2023 at 4:31 PM LordDarkneo @.***> wrote:

Hello, Même soucis ici. Effectivement ca a l'air d'etre un soucis côté ENEDIS, un changement de la politique de partage de données (pour info Gazpar a aussi subitement arrété le partage des données Domoticz / utilisateurs il y a environ 2 ans)

— Reply to this email directly, view it on GitHub https://github.com/guillaumezin/DomoticzLinky/issues/219#issuecomment-1731526043, or unsubscribe https://github.com/notifications/unsubscribe-auth/ABXTDCVH5ERT235NYBKQ7PLX3WONDANCNFSM6AAAAAA4XWFT4E . You are receiving this because you commented.Message ID: @.***>

guillaumezin commented 9 months ago

Bonjour, Non, ce n'est pas un changement politique côté Enedis (quoique), c'est un changement assez fondamental dans la philosophie de l'API qui fait peser plus de chose sur notre infrastructure intermédiaire, doublé d'un coup de pas de chance, au moment de la bascule, tout est tombé en panne. La panne a tardé à être affichée sur https://datahub-enedis.fr/services-api/etat-des-services/ alors que je pensais que le problème venait de moi, j'ai un peu les boules parce que j'ai perdu du temps à chasser un bogue de mon côté.

LordDarkneo commented 9 months ago

J'ai oublié le "?" dans mon message précédent. Désolé que ca t'ait engendré toutes ces galères... Le fun sur le suivi c'est que c'est juste en panne depuis aujourd'hui (vraiment gros coup de pas de bol, car je faisais des MAJ Domoticz et j'ai vu que le plugin me demandait de ma relogguer...).

guillaumezin commented 9 months ago

Tant que le plugin récupère les données, c'est bon, mais dès qu'il faut refaire une demande de consentement, on est bloqué. Comme vous avez fait une mise à jour, redemande de consentement, et vous voilà bloqué avec les autres, désolé...

Phil353556 commented 9 months ago

Courage @guillaumezin Cela ne devrait plus tarder, je lis sur le site statut d'Enedis : " Une maintenance aura lieu sur le site Datahub du 13 septembre 2023 au 25 septembre 2023. Durant cette maintenance, il ne sera pas possible de créer, de modifier ni de gérer ses applications. Nous vous prions de nous excuser pour tout inconvénient que cela pourrait causer."

DrMacabre commented 9 months ago

au 26/09, ça ne marche toujours pas.

guillaumezin commented 9 months ago

Et pour cause, ils ont repoussé la résolution du problème au 29/09, sachant qu'après, j'ai probablement du travail de mise au point à terminer puisque j'étais bloqué moi-même en pleine migration (et que j'ai un week-end chargé qui arrive).

Holborn13200 commented 9 months ago

Hello, même problèmes pour moi :( Dans tous les. cas, merci pour le travail :)

Holborn13200 commented 9 months ago

Mais effectivement le plugin est à retravailler, l'API https://enedisgateway.tech/api est fonctionnel. J'arrive bien à récupérer les valeurs et à faire un graph avec matplotlib via un rapide script python. Je ne suis malheureusement pas assez a l'aise pour les plugins domoticz :)

guillaumezin commented 9 months ago

Et bah ils sont très très fort sur enedisgateway, parce que moi j'ai ça sur l'API Enedis:

image

D'ailleurs, je n'arrive pas à ouvrir https://enedisgateway.tech/ pour le moment, donc ils ont peut-être aussi des difficultés.

Philtass commented 9 months ago

Hello tous. Juste pour info le 1er octobre le problème persiste.

empierre commented 9 months ago

et le 2 aussi...

On Sun, Oct 1, 2023 at 9:36 AM Philtass @.***> wrote:

Hello tous. Juste pour info le 1er octobre le problème persiste.

— Reply to this email directly, view it on GitHub https://github.com/guillaumezin/DomoticzLinky/issues/219#issuecomment-1741991257, or unsubscribe https://github.com/notifications/unsubscribe-auth/ABXTDCXADDKUWPSI5LDFJFTX5EMOVANCNFSM6AAAAAA4XWFT4E . You are receiving this because you commented.Message ID: @.***>

ProfBoc75 commented 9 months ago

Et bah ils sont très très fort sur enedisgateway, parce que moi j'ai ça sur l'API Enedis:

image

D'ailleurs, je n'arrive pas à ouvrir https://enedisgateway.tech/ pour le moment, donc ils ont peut-être aussi des difficultés.

Même soucis pour moi, plus de collecte et erreur 500.

ça semble très problématique, le site n'est pas résolu par les DNS, donc un problème de nom de domaine enedisgateway.tech qui n'a pas été renouvelé ou publié ?

Phil353556 commented 9 months ago

Bonjour, Yep :-( Plus de résolution DNS :

$dig enedisgateway.tech 

; <<>> DiG 9.18.12-0ubuntu0.22.04.3-Ubuntu <<>> enedisgateway.tech
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 64508
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 1, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 1232
;; QUESTION SECTION:
;enedisgateway.tech.        IN  A

;; AUTHORITY SECTION:
tech.           3600    IN  SOA ns0.centralnic.net. hostmaster.centralnic.net. 358121 900 1800 6048000 3600

;; Query time: 296 msec
;; SERVER: 192.168.1.17#53(192.168.1.17) (UDP)
;; WHEN: Mon Oct 02 15:08:22 CEST 2023
;; MSG SIZE  rcvd: 112

Message en bas de la page https://datahub-enedis.fr/services-api/etat-des-services/ le planning dérape, la date de fin évolue .... Une maintenance aura lieu sur le site Datahub du 13 septembre 2023 au 3 octobre 2023. Durant cette maintenance, il ne sera pas possible de créer, de modifier ni de gérer ses applications. Nous vous prions de nous excuser pour tout inconvénient que cela pourrait causer.

Bref attendre, on n'a pas d'autres choix :-(

Holborn13200 commented 9 months ago

3

GMLinky commented 9 months ago

04.10.2023 8h49 Toujours planté D après mes calculs depuis début 2023 : -5 Plantages d au moins 2 jours -5 Jours de données horaires perdus Et dire que l on confie notre facturation à des entreprises pareilles Ca craint

empierre commented 9 months ago

Alors perdues je ne suis pas sûr, car ce sont des données du SI Linky qui sont exportées vers un autre système pour la mise à disposition extérieure . L'interface extérieure principale SGE a des SLA très agressifs avec pénalités car utilisés pour l'équilibrage entre autre, et tous les vendeurs tiers d'énergie. J'imagine, mais je peux essayer de demander, que nos API sont sur un tiers système...

On Wed, Oct 4, 2023 at 8:51 AM GMLinky @.***> wrote:

04.10.2023 8h49 Toujours planté D après mes calculs depuis début 2023 : -5 Plantages d au moins 2 jours -5 Jours de données horaires perdus Et dire que l on confie notre facturation à des entreprises pareilles Ca craint

— Reply to this email directly, view it on GitHub https://github.com/guillaumezin/DomoticzLinky/issues/219#issuecomment-1746244389, or unsubscribe https://github.com/notifications/unsubscribe-auth/ABXTDCWKFHQ22UCLPDZDG3TX5UBOBAVCNFSM6AAAAAA4XWFT4GVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTONBWGI2DIMZYHE . You are receiving this because you commented.Message ID: @.***>

mealgi commented 9 months ago

Bonjour, @guillaumezin

Jusqu'au 21/09/2023 mon service d'accès au données Linky sur mon système de domotique Domoticz était opérationnel. J'ai dû refaire une demande de consentement et depuis cela ne fonctionne plus.

Dans le détail le service d'obtention du consentement sur le site https://enedis.domoticz.russandol.pro/device?code=XXXX-XXXX ne fonctionne plus. J'ai en retour une page Enedis avec ERREUR 500

L'examen du site https://datahub-enedis.fr/services-api/etat-des-services/ montre que le service en production Authorize est Indisponible temporairement (Indisponibilité du don de consentement).

J'ai ouvert un ticket sur Enedis pour les informer du problème et la réponse de Enedis est la suivante:

"Le plugin DOMOTICZ que vous utilisez a recours à la V4 de Dataconnect, qui n’est plus ouverte ou supportée (la plateforme technique exposant cette version a été fermée en septembre). Je vous invite à contacter la personne qui a mis à disposition cette application afin qu’elle soit mise à jour en fonction de la migration."

Merci de m'indiquer comment assurer la collecte des informations Linky vers Domoticz.

Bien cordialement

GMLinky commented 9 months ago

Je croyais que la version 2.4.9 du plugin était compatible V5 De toute façon d après l'état des services c est "Authorize" qui est non disponible sans notion de version V4 ou V5 On a une date prévue car le message sur état des services stipulait jusqu'au 3 Octobre on est le 4 !

guillaumezin commented 9 months ago

Bonjour,

Quelques précisions :

ProfBoc75 commented 9 months ago

Hello,

Je confirme que les données ne sont pas perdues et bien disponible sur le site web Enedis. D'ailleurs, en attendant la réparation, on peut toujours télécharger ses consommations et ainsi mettre à jour les données directement dans Domoticz via un peu de script et de sqlite3 par exemple (pas à la portée de tout le monde j'en conviens). Pour Gazpar, le script/plugin Domoticz a été mis à jour pour permettre d'importer ses données issues de ce téléchargement (fichier excel je crois) puisque depuis la mise en place du catcha il n'est plus possible de récupérer ses consommations issues du site web et pas d'API Gazpar malheureusement.

laoil72 commented 9 months ago

Salut, Juste pour être à jour quand ça va redémarrer, @guillaumezin tu parles de la V2.5 on est d'accord que c'est encore en dev et qu'elle n'est pas encore dispo ?

PS: 5 gosses ça force le respect 🙏

SAS-Malko commented 9 months ago

Je croyais que la version 2.4.9 du plugin était compatible V5 De toute façon d après l'état des services c est "Authorize" qui est non disponible sans notion de version V4 ou V5 On a une date prévue car le message sur état des services stipulait jusqu'au 3 Octobre on est le 4 !

Ouep! Et maintenant c'est le 09 Octobre! Ils doivent rechercher le stagiaire qui avait écrit la routine...?

ProfBoc75 commented 9 months ago

Et maintenant c'est le 09 Octobre!

En espérant qu'ils appliquent la correction durant la maintenance du week-end et que Lundi 9 tout fonctionne ... Sinon, je doute qu'ils trouvent la solution ce week-end, le stagiaire fait surement de la résistance à la plage 😄 ...

ErnieFR commented 9 months ago

Tellement dommage Linky n'est plus dispo sur Domoticz et Enedis continue ravager nos diagrammes, ce n'est pas la primière fois, je crois...

500 Internal Server Error op site Enedis bij autorisatie Domoticz s

J'ai eu le mal coincidence que j'ai ajouté un système PV de BeemEnergy pour partager aussi les chiffres de Linky dans leur app en même temps que Linky dans Domoticz a s'arrêté ! Marrant que les chiffres Enedis/Linky sont toujours bien dispo dans l'app Beem mais pas dans Domoticz. Impatiemment pour le 9 octobre....

Linky sur Beem aucun probleme

Bonne courage Guillaume ! Cela est devenu un cauchemar pour toi probablement....

guillaumezin commented 9 months ago

Je n'irai pas dire que c'est un cauchemar, c'est désagréable, et avec la chance qu'on a, ça va se mettre à fonctionner chez Enedis la semaine prochaine alors que professionnellement, ça va être compliqué pour moi, donc je n'aurai pas tout de suite du temps à passer sur le plugin.

Pour répondre à la question sur les versions 2.5, si, elles sont dispos ici : https://github.com/guillaumezin/DomoticzLinky/tree/APIv5 et elles basculeront sur la branche principale quand ce sera au point.

Phil353556 commented 9 months ago

@guillaumezin Faites au mieux, y a rien de vital, il est possible d'attendre. Merci pour tout ce que vous faites.

GMLinky commented 9 months ago

Il y a-t-il une chance que cela redémarre un jour ? Il va falloir sans doute envisager d'autres solutions plus matérielles, ce qui est gênant car les données Enedis sont la base de facturation de nos fournisseurs (EDF dans mon cas), alors que les données renvoyées par un capteur (Linky Lixee par exemple) peuvent être inexactes. (En cas de panne domotique les données compteurs remontées au logiciel domotique (Domoticz) sont cumulées sur l'heure de retour à la normale). Question subsidiaire: Quelqu'un connaît il la raison particulière (sécurité, volume) qui empêche chaque particulier d'accéder à ses données propres sans passer par un site de validation de consentement (russandol). Car 1 le consentement a été donné sur Enedis, 2 Le volume est identique connecté directement ou pas. Après 40 d informatique, je ne comprend toujours pas. Merci à @guillaumezin pour le travail. C est pas des plus simples d après ce que j'ai vu dans le py.

empierre commented 9 months ago

moi j'ai toujours mon consospy de Sicame avec ses données

On Tue, Oct 10, 2023 at 9:14 AM GMLinky @.***> wrote:

Il y a-t-il une chance que cela redémarre un jour ? Il va falloir sans doute envisager d'autres solutions plus matérielles, ce qui est gênant car les données Enedis sont la base de facturation de nos fournisseurs (EDF dans mon cas), alors que les données renvoyées par un capteur (Linky Lixee par exemple) peuvent être inexactes. (En cas de panne domotique les données compteurs remontées au logiciel domotique (Domoticz) sont cumulées sur l'heure de retour à la normale). Question subsidiaire: Quelqu'un connaît il la raison particulière (sécurité, volume) qui empêche chaque particulier d'accéder à ses données propres sans passer par un site de validation de consentement (russandol). Car 1 le consentement a été donné sur Enedis, 2 Le volume est identique connecté directement ou pas. Après 40 d informatique, je ne comprend toujours pas. Merci à @guillaumezin https://github.com/guillaumezin pour le travail. C est pas des plus simples d après ce que j'ai vu dans le py.

— Reply to this email directly, view it on GitHub https://github.com/guillaumezin/DomoticzLinky/issues/219#issuecomment-1754558402, or unsubscribe https://github.com/notifications/unsubscribe-auth/ABXTDCQJQT6VXXZ342NPYPDX6TYVRAVCNFSM6AAAAAA4XWFT4GVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTONJUGU2TQNBQGI . You are receiving this because you commented.Message ID: @.***>

GMLinky commented 8 months ago

Toujours pas de date de redémarrage prévue ? Il n y a plus rien d'indiqué sur https://datahub-enedis.fr/services-api/etat-des-services/ Que dit Enedis ? Bonjour l'outil !

ErnieFR commented 8 months ago

Ce que m'étonne aussi c'est que l'état du compteur Linky n'est pas dispo déjà pour 2 mois, c'est parreil chez vous ???

afbeelding

Philtass commented 8 months ago

Hello. Pareil pour moi, mais seulement sur la page d'accueil. Les mesures sont bien à jour et accessibles on line sur la page "Suivre mes mesures".

Le ven. 13 oct. 2023 à 08:52, ErnieFR @.***> a écrit :

Ce que m'étonne aussi c'est que l'état du compteur Linky n'est pas dispo déjà pour 2 mois, c'est parreil chez vous ???

[image: afbeelding] https://user-images.githubusercontent.com/60966258/274819381-0885c7ad-f80e-461d-8fb2-b8c054fa3d85.png

— Reply to this email directly, view it on GitHub https://github.com/guillaumezin/DomoticzLinky/issues/219#issuecomment-1760997019, or unsubscribe https://github.com/notifications/unsubscribe-auth/AMNMX4ZLPERMCHHWAA35H4LX7DQJ7AVCNFSM6AAAAAA4XWFT4GVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTONRQHE4TOMBRHE . You are receiving this because you commented.Message ID: @.***>

Phil353556 commented 8 months ago

Bonjour, Idem pour moi, J'ai téléphoné à Enedis (09 70 83 29 70) et ouvert un incident avec envoi des deux copies d'écran : 1/ page d'accueil ENEDIS les affichages qui tournent comme sur la copie d'écran ci-dessus et 2/ datahub API authorize indisponible depuis le 22/09 A suivre - je vous tiendrai au courant du retour

ErnieFR commented 8 months ago

Exactement pareil avec aussi le page d'autorisation bien à jour, ça mont donc aussi qqc chez Enedis est fortement tort. J'ai aussi lancé une demande et on m'a demandé pour mon numéro pdl, mais puis auccun réaction de plus :-(

Philtass commented 8 months ago

Hello tous. J'avais ouvert un ticket chez enedis. Voici la réponse (plus de 15 jours plus tard)

"Pour faire suite à votre demande, nous vous informons que l'application Enedis a été supprimé. Pour suivre votre consommation veuillez passer par le site internet.

Aucune données ne sera visible sur l'application.

Enedis vous remercie pour votre message et espère avoir répondu à vos attentes. Nous restons à votre disposition et vous souhaitons une agréable journée. Cordialement,"

Pas sûr qu'ils aient compris le sujet, mais ce n'est pas bon signe.

yah00078 commented 8 months ago

Bonjour à tous, Et merci pour tous vos efforts ! Je suis également impressionné qu'enedis se permette d'avoir plus d'un mois de coupure sur ces services, même le site web est a moitié en carafe ...

On surveille de près, merci encore

ErnieFR commented 8 months ago

Je suis aussi étonné que l'état des services est maintenant (au niveau de consummation) tout marchant, mes chiffres LINKY sont toujours au courant dans mon app beem.energy mais le page d'accueil Enedis me mont LINKY est "indisponible" et autoriser Domoticz me mont toujours l'erreur 500 :-(

2023-10-20 Enedis état de services

2023-10-20a BeemEnergy a tout kWh LINKY sans problèmes

empierre commented 8 months ago

pas une interface sous SLA... j'imagine que c'est de l'Opendata sans engagement, juste demandé par le gourvernement ...

On Fri, Oct 20, 2023 at 10:02 AM Vince @.***> wrote:

Bonjour à tous, Et merci pour tous vos efforts ! Je suis également impressionné qu'enedis se permette d'avoir plus d'un mois de coupure sur ces services, même le site web est a moitié en carafe ...

On surveille de près, merci encore

— Reply to this email directly, view it on GitHub https://github.com/guillaumezin/DomoticzLinky/issues/219#issuecomment-1772267599, or unsubscribe https://github.com/notifications/unsubscribe-auth/ABXTDCQ7DLRFZH4VPOHDNNTYAIVYFAVCNFSM6AAAAAA4XWFT4GVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTONZSGI3DONJZHE . You are receiving this because you commented.Message ID: @.***>

GrayCat911 commented 8 months ago

Bonjour, De mon côté, plus aucune donnée remonté depuis le 24 septembre :'-( Je vois dans tous les échanges que le problème semble être côté Enedis. Me vient alors une question. Comment font toutes les applications du type HelloWatt ? Car j'ai bien mes relevés sans interruption avec des appli tiers. Les API utilisées ne seraient pas les mêmes pour tout le monde ?

guillaumezin commented 8 months ago

@GrayCat911 effectivement d'autres m'avaient fait la même remarque. Enedis propose plusieurs API, dont certaines réservées probablement aux fournisseurs d'énergie, peut-être passent-ils par là : https://datahub-enedis.fr/services-api/

Ou alors ils sont plus malins (et plus pro) que moi et ont trouvé un contournement, restons honnête, en ce moment, vu que l'API est marquée indisponible et que je dispose de peu de temps, je ne fais pas d'effort pour l'instant pour faire fonctionner le plugin pour ne pas ajouter de la difficulté à la difficulté, mais ça se trouve il y a moyen de faire marchoter ça.

marillat commented 8 months ago

je n'ai pas essayé mais il y a https://conso.boris.sh/ qui est écrit en node.

dltrainou commented 8 months ago

Bonjour a tous en attendant le plugin, j'ai essayé le "https://github.com/bokub/linky" ca me permet de récupérer les valeurs dans un tableur excel, pour l'instant , ça marche, donc Enedis est pas en rade partout. merci pour le boulot

ErnieFR commented 8 months ago

Très intéressant ce bokub, mais pouvez-vous me garantir que mes chiffres LINKY resteront dispo au future pour aussi Domoticz et comme j'ai maintenant aussi Beem.Energy ? Plusieurs entreprises pourront diffuser ma consummation vers moi en même temps ?

guillaumezin commented 8 months ago

je n'ai pas essayé mais il y a https://conso.boris.sh/ qui est écrit en node.

J'ai regardé, c'est intéressant, il propose peu ou prou la même chose que https://github.com/guillaumezin/Device-Flow-Proxy-Server que nous hébergeons, c'est vrai que ça fait un peu doublon. Mais comme le nombre d'appels par clé d'API est limité, si je bascule sur son infrastructure, on risque de la saturer. On va essayer de continuer avec notre infrastructure intermédiaire, et si ça continue de coincer, j'envisagerai de basculer.

guillaumezin commented 8 months ago

J'ai fait quelques essais supplémentaires, avec la branche https://github.com/guillaumezin/DomoticzLinky/tree/APIv5, je vais maintenant un peu plus loin mais au moment ou on termine le consentement, Enedis renvoie un message abscons plutôt que rediriger vers notre infrastructure de consentement, bref, ça coince toujours.