search

guillaumezin / DomoticzLinky

Linky plugin for Domoticz
GNU Affero General Public License v3.0
143 stars 26 forks source link

Problème de récupération de données #206

Closed niawag closed 1 year ago

niawag commented 1 year ago

Bonjour, j'utilise ce plugin depuis plus de 3 ans maintenant donc, tout d'abord, un grand merci !

Depuis quelques temps le plugin n'arrive plus à récupérer les données présentes sur le site Enedis, après quelques temps je me suis rendu compte que la collecte avait atteint les 3 ans et était désactivée, j'ai donc réactivé la collecte, attendu 2 jours et refais (plusieurs fois) le consentement qui marche à chaque fois mais je ne récupère toujours pas de données.

J'ai envoyé le log (simple) par mail, je l'ai parcouru et tout semble ok mais les données ne sont pas "vues" par le plugin : 

2023-04-21 11:09:51.966 Status: Linky: Durant l'étape getdatahours de 2023-04-14 à 2023-04-21 - Pas de données disponibles, ni en consommation, ni en production, avez-vous associé un compteur à votre compte et demandé l'enregistrement et la collecte des données horaire sur le site d'Enedis (dans "Gérer l'accès à mes données") ?
2023-04-21 11:09:52.362 Status: Linky: Durant l'étape save de 2023-04-20 à 2023-04-21 - Données manquantes pour mettre à jour le tableau de bord
2023-04-21 11:09:52.368 Status: Linky: Prochaine récupération complète de l'historique : 2023-04-24").

Que puis-je essayer pour les récupérer de nouveau ?

Quelques infos en plus : Collecte enedis : image

Consommation /jour : image

Consommation /heure : le 04/04 : image le 11/04 : image le 20/04 : image

niawag commented 1 year ago

J'ai testé (à l'instant) de reset le cache et le plugin semble ne pas réussir à se connecter, c'est peut être du à un nombre de requête trop important, je verrai comment ça évolue : 

2023-04-21 12:00:57.232 Status: Linky: Stopped.
2023-04-21 12:00:57.232 Status: Linky: Entering work loop.
2023-04-21 12:00:57.232 Status: Linky: Started.
2023-04-21 12:00:57.316 Status: Linky: Initialized version 2.4.6, author 'Barberousse'
2023-04-21 12:01:07.095 Status: Linky: Récupération des données avec l'historique court
2023-04-21 12:01:07.096 Status: Linky: Traitement pour le point de livraison 12247612130378
2023-04-21 12:02:27.074 Status: Linky: Durant l'étape : retry - Trop d'échecs de communication, le plugin réessaiera plus tard
2023-04-21 12:02:27.075 Status: Linky: Prochaine connexion : 2023-04-21 13:02:27
niawag commented 1 year ago

Bon, j'ai tout récupéré... Je suppose que le reset du cache m'a remis sur les bons rails, peut être à ajouter au wiki quand la procédure "classique" n'est pas suffisante ?

guillaumezin commented 1 year ago

Bonjour, C'est noté, mais je ne suis pas certain que ça ait un rapport. Ce qui est dommage c'est que j'ai un peu de mal à lire le fichier log que vous avez envoyé, certaines parties sont tronquées...

niawag commented 1 year ago

Je ne l'ai pourtant pas modifié, j'en ai refait un en debug avancé mais c'était après le reset du cache et la récupération a fonctionné, je peux tout de même l'envoyer si c'est utile.

guillaumezin commented 1 year ago

Je me doute que ce n'est pas vous, mais je viens de refaire un essai sous Ubuntu 22.10, Domoticz 2023.1 et le plugin 2.4.6 et ce n'est pas tronqué. Je ne suis pas dans un docker cependant. Non, ce qui m'intéressait c'était quand vous aviez le problème, pour analyser plus finement ce qu'il s'est passé, maintenant ce n'est plus la peine.

niawag commented 1 year ago

Du coup je ferme l'issue, si ça recommence dans 3 ans je testerai plus avant d'en ouvrir une...

niawag commented 1 year ago

Bonjour, finalement le retour à la normale était de courte durée, je n'ai plus de mesures depuis 3 jours (donc les deux derniers - 25-26/04 - jours manquent). J'ai passé le plugin en debug avancé et je vous ai mis le fichier par mail.

Il y a un message d'erreur qui peut être intéressant : 

2023-04-27 14:25:31.105 Debug : Etape getdatahours
2023-04-27 14:25:31.105 Debug : Durant l'2023-04-27 14:25:31.105 Debug : getDataHours de 2023-04-20 2023-04-27 14:25:31.106 Debug : D2023-04-27 14:25:31.106 Debug : --->'Verb':'GET'
2023-04-27 14:25:31.107 Debug : --->'URL':'/v4/metering_data/production_load_curve?start=2023-04-20&end=2023-04-27&usage_point_id=12247612130378'
2023-04-27 14:25:31.107 Debug : --->'Headers (5):
2023-04-27 14:25:31.107 Debug : ------->'Accept':'application/json'
2023-04-27 14:25:31.107 Debug : ------->'Content-Type':'application/json'
2023-04-27 14:25:31.107 Debug : ------->'User-Agent':'DomoticzLinkyPlugin/2.4.6'
2023-04-27 14:25:31.107 Debug : ------->'Host':'gw.prd.api.enedis.fr:443'
2023-04-27 14:25:31.107 Debug : ------->'Authorization':'Bearer 3eYFaXeU4n8ahIZo3Gaz3i0u4Ne5m2BzXg1k65lnIVi77Zb4d2uBaa'
2023-04-27 14:25:31.253 Debug : onConnect called
2023-04-27 14:25:31.806 Debug : onMessage called
2023-04-27 14:25:31.807 Debug : Etape getdatahours
2023-04-27 14:25:31.807 Debug : D2023-04-27 14:25:31.807 Debug : --->'Status':'400'
2023-04-27 14:25:31.807 Debug : --->'Headers (8):
2023-04-27 14:25:31.807 Debug : ------->'Connection':'close'
2023-04-27 14:25:31.807 Debug : ------->'Allow':'GET, HEAD, OPTIONS'
2023-04-27 14:25:31.807 Debug : ------->'Date':'Thu, 27 Apr 2023 12:25:31 GMT'
2023-04-27 14:25:31.807 Debug : ------->'Expires':'0'
2023-04-27 14:25:31.807 Debug : ------->'Strict-Transport-Security':'max-age=31536000 ; includeSubDomains'
2023-04-27 14:25:31.807 Debug : ------->'Vary':'accept-encoding'
2023-04-27 14:25:31.808 Debug : ------->'Content-Type':'application/json'
2023-04-27 14:25:31.808 Debug : ------->'Transfer-Encoding':'chunked'
2023-04-27 14:25:31.808 Debug : --->'Data':'b'{\n  "error" : "ADAM-ERR0069",\n  "error_description" : "Le sens de la mesure ne correspond pas pour le PRM demand\xc3\xa9",\n  "error_uri" : "https://bluecoder.enedis.fr/api-doc/consulter-souscrire"\n}''
2023-04-27 14:25:31.808 Status : Durant l'2023-04-27 14:25:31.811 Debug : Mets dans la BDD la valeur 22784.0;0;0;0;0;0;2023-03-22

Encore une fois, j'ai l'impression qu'il manque des bouts au fichier de log mais je ne comprends pas pourquoi, par exemple, ici la partie en gras semble grouper plusieurs lignes : 

2023-04-27 14:25:31.808 Status : **Durant l'2023-04-27** 14:25:31.811 Debug : Mets dans la BDD la valeur 22784.0;0;0;0;0;0;2023-03-22

Y-a-t'il quelque chose que je puisse faire pour tester/aider à résoudre le problème ?

guillaumezin commented 1 year ago

Je n'ai pas eu trop le temps de regarder, mais vous n'êtes pas seul, chez moi non plus ça ne fonctionne plus depuis mardi.

Phil353556 commented 1 year ago

+1

Pour les deux le message "Vous n'avez pas encore souscrit de service de partage de données avec Enedis ou un tiers." est toujours affiché depuis des mois .. même quand les données étaient bien récupérées par domoticz

Log domoticz : 023-04-29 17:30:14.150 Status: Compteur xxxxx: Récupération des données avec l'historique court 2023-04-29 17:30:14.191 Status: Compteur xxxxx: Traitement pour le point de livraison yyyyyyyyyyyy 2023-04-29 17:30:20.948 Status: Compteur xxxxx: Durant l'étape getdatahours de 2023-04-22 à 2023-04-29 - Pas de données disponibles, ni en consommation, ni en production, avez-vous associé un compteur à votre compte et demandé l'enregistrement et la collecte des données horaire sur le site d'Enedis (dans "Gérer l'accès à mes données") ? 2023-04-29 17:30:27.955 Status: Compteur xxxxx: Durant l'étape save de 2023-04-22 à 2023-04-29 - Données manquantes pour mettre à jour le tableau de bord 2023-04-29 17:30:28.111 Status: Compteur xxxxx: Prochaine connexion : 2023-04-29 18:30:27

Je vais refaire une demande de consentement A suivre [EDIT] consentement refait .. aucun changement, même message dans la log domoticz [/EDIT]

rcrocus commented 1 year ago

Hello à tous, J'ai le même souci depuis mardi 25/04. Après un reset du consentement, toujours le même souci ! Plus de données remontées

guillaumezin commented 1 year ago

Des fois ça donne un peu l'impression que dès que la personne chargée d'appuyer sur le bouton est partie en week-end prolongé, ça ne fonctionne plus...

guillaumezin commented 1 year ago

Bonjour à tous,

Après ces essais, vous pourrez remettre debug à "Non", puis "Modifier".

Merci de votre aide.

empierre commented 1 year ago

Hello Guillaume,

Même soucis ici:

et rien de plus non plus...

On Tue, May 2, 2023 at 5:41 PM Guillaume Zin @.***> wrote:

Bonjour à tous,

  • Est-ce que vous êtes en version 2.4.6 ? J'ai l'impression que le problème est propre à cette version.
  • Est-ce que ça refonctionne si vous mettez debug à "Reset cache", puis "Modifier", puis re sélectionnez le plugin, mettez debug à "Simple", puis "Modifier" ?
  • Si non, est-ce que ça refonctionne si vous mettez debug à "Reset consentement", puis "Modifier", puis re sélectionnez le plugin, mettez debug à "Simple", puis "Modifier" ?
  • Si non, est-ce que ça refonctionne si vous mettez debug à "Reset cache", puis "Modifier", puis re sélectionnez le plugin, mettez debug à "Reset cache", puis "Modifier", puis re sélectionnez le plugin, mettez debug à "Simple", puis "Modifier" ?

Après ces essais, vous pourrez remettre debug à "Non", puis "Modifier".

Merci de votre aide.

— Reply to this email directly, view it on GitHub https://github.com/guillaumezin/DomoticzLinky/issues/206#issuecomment-1531697175, or unsubscribe https://github.com/notifications/unsubscribe-auth/ABXTDCUIRLNUI42AHC6F2IDXEETKHANCNFSM6AAAAAAXGU3E7Y . You are receiving this because you are subscribed to this thread.Message ID: @.***>

smlh72 commented 1 year ago

Bonjour Guillaume,

Chez moi, aussi en version 2.4.6 et en défaut depuis le 25/04

J'ai testé les différentes procédures - reset cache/simple - reset consentement/simple et reset cache x2/simple, toujours en défaut durant environ 30mn, j'ai du redémarré le système plusieurs fois car domoticz ne répondait plus (installé sur un pi4). Après le dernier redémarrage, le plugin a tenté de se reconnecter avec le log suivant en boucle toutes les 10s

2023-05-02 18:08:22.081 Debug : onConnect called 2023-05-02 18:08:22.182 Debug : onHeartbeat called 2023-05-02 18:08:22.183 Debug : Connexion bloquée 2023-05-02 18:08:22.183 Debug : Etape sending

puis 1mn après, la connexion s'est faite et les données sont arrivées complètes

Pour info, ce midi, les données étaient dispo sur le site Enedis, mais pas sur le site EDF sur les mêmes dates et ce soir elles sont arrivées chez EDF ->pb du plugin ou chez Enedis? je pencherai plus pour Enedis vu que EDF n'avait pas les infos non plus.

Utilisateur du plugin depuis 2 ans, un grand merci pour le travail et la dispo

guillaumezin commented 1 year ago

J'ai fait un essai dans la journée en faisant reset cache et consentement et ça a fonctionné, d'où mes suggestions, mais c'est peut-être un coup de (mal)chance, c'était peut-être chez Enedis. @empierre pouvez-vous m'envoyer votre log par mail ? Mon mail est sur https://github.com/guillaumezin @niawag je pense que vos logs corrompus sont dus au fait que vous mettez Debug sur Avancé et pas sur Simple. Dans ce cas Domoticz ajoute le contenu des échanges réseau, mais ça a l'air de faire exploser les buffers, si c'est le cas, la prochaine fois faite "Debug" à "Simple" svp.

empierre commented 1 year ago

@guillaumezin/DomoticzLinky @.***> ça y est j'ai eu les infos qui sont remontées sans rien faire...

On Tue, May 2, 2023 at 7:55 PM Guillaume Zin @.***> wrote:

J'ai fait un essai dans la journée en faisant reset cache et consentement et ça a fonctionné, d'où mes suggestions, mais c'est peut-être un coup de (mal)chance, c'était peut-être chez Enedis. @empierre https://github.com/empierre pouvez-vous m'envoyer votre log par mail ? Mon mail est sur https://github.com/guillaumezin @niawag https://github.com/niawag je pense que vos logs corrompus sont dus au fait que vous mettez Debug sur Avancé et pas sur Simple. Dans ce cas Domoticz ajoute le contenu des échanges réseau, mais ça a l'air de faire exploser les buffers, si c'est le cas, la prochaine fois faite "Debug" à "Simple" svp.

— Reply to this email directly, view it on GitHub https://github.com/guillaumezin/DomoticzLinky/issues/206#issuecomment-1531902094, or unsubscribe https://github.com/notifications/unsubscribe-auth/ABXTDCXL6FFHPGO7JTNIZHTXEFDADANCNFSM6AAAAAAXGU3E7Y . You are receiving this because you were mentioned.Message ID: @.***>

niawag commented 1 year ago

@niawag je pense que vos logs corrompus sont dus au fait que vous mettez Debug sur Avancé et pas sur Simple. Dans ce cas Domoticz ajoute le contenu des échanges réseau, mais ça a l'air de faire exploser les buffers, si c'est le cas, la prochaine fois faite "Debug" à "Simple" svp.

Le 1er debug envoyé était (si mes souvenirs sont bons) en simple, je suis passé en avancé après pour essayer d'avoir plus d'infos.

De mon côté les données ne sont toujours pas récupérées et j'ai une nouvelle erreur : 

2023-05-04 08:38:35.434 Error: Linky: Durant l'étape : parseaccesstoken - Erreur status : 500

Je n'ai pas trop le temps de m'en occuper pour le moment mais je testerai le reset du consentement puis du cache d'ici quelques jours.

niawag commented 1 year ago

Le reset du consentement n'a rien changé mais le reset du cache a permis de récupérer les données (comme la 1ère fois).

guillaumezin commented 1 year ago

Bonsoir, Le plugin essaie de déterminer si votre compteur est un compteur de conso ou de production. Ensuite il écrit dans le cache s'il faut dans le futur essayer de récupérer des données de conso ou de production. Je soupçonne qu'après plusieurs jours de "famine" à cause d'une panne Enedis, le plugin a déduit et marqué dans le cache, à tort, que les compteurs n'étaient pas des compteurs de conso. Cette déduction est basée sur les codes d'erreur renvoyés par Enedis quand on demande des données. L'ennui c'est que les codes d'erreur ne sont pas très bien documentés. C'est pour ça que j'ai insisté pour avoir vos logs quand l'erreur se produisait, parce que ça m'aurait aidé à y voir un peu plus clair. Et c'est pour ça que je pense que le reset du cache corrige le problème, dès lors que la panne Enedis est passée.

guillaumezin commented 1 year ago

En fait j'ai bien le code d'erreur pour un compteur de conso qui demande de la production alors qu'il n'y a pas de données de production. Si quelqu'un a un compteur de production, je veux bien qu'il m'envoie son log, ça répondra à ma question.

guillaumezin commented 1 year ago

Je suis mauvaise langue, Enedis décrit les erreurs sur cette page : https://datahub-enedis.fr/services-api/data-connect/documentation/description-des-erreurs/ Du coup j'ai publié une version 2.4.7 pour laquelle le problème ne devrait plus se reproduire. N'oubliez pas de faire un reset du cache si vous n'avez toujours pas vos données.

Phil353556 commented 1 year ago

Bonjour,


Cordialement
Phil
guillaumezin commented 1 year ago

@Phil353556 Pouvez-vous mettre debug à simple et m'envoyer à votre log à mon adresse mail (visible sur https://github.com/guillaumezin/DomoticzLinky) ?

Je ne comprends pas le message TypeError: '>' not supported between instances of 'NoneType', ça ne devrait pas se produire

Phil353556 commented 1 year ago

@guillaumezin courriel envoyé. Dites moi si vous avez besoin d'autre chose.