megalis-bretagne / opendata-extraction

2 stars 2 forks source link

URL des délibérations #12

Closed ListerRM closed 2 years ago

ListerRM commented 2 years ago

Les PDFs concernant les délibération génèrent des liens qui mènent vers du 404. Ils ne sont donc pas consultables.

Cause probable: Des espaces dans les noms des fichiers PDF se déportent sur les URL auto-générés

Testé sur: Ville de Rennes (beaucoup de cas) et Rennes Métropole (aucun cas détecté).

Cordialement, Ben Lister Chargé de mission open data Rennes Métropole

lvinsonneau commented 2 years ago

@yguenneugues : Je note le souci par exemple sur cette délibération : https://data.megalis.bretagne.bzh/OpenData/212901417/Deliberation/2022/vente%20parcelle%20d970%20%C3%83%C2%A0%20poulfoan-tampon.pdf (après ouverture sous excel)

yguenneugues commented 2 years ago

@lvinsonneau Tu n'as pas le bon encodage dans excel. Il faut utiliser utf8, sinon tu vas avoir des problème avec les accents Le lien que tu as utilisé se trouve dans le fichier suivants:

COLL_NOM;COLL_SIRET;DELIB_ID;DELIB_DATE;DELIB_MATIERE_CODE;DELIB_MATIERE_NOM;DELIB_OBJET;BUDGET_ANNEE;BUDGET_NOM;PREF_ID;PREF_DATE;VOTE_EFFECTIF;VOTE_REEL;VOTE_POUR;VOTE_CONTRE;VOTE_ABSTENTION;DELIB_URL
"COMMUNE DE LOQUEFFRET";"21290141715";"0705202122";"2022-01-27";"3.5";"Autres actes de gestion du domaine public";"vente poulfoan";"";"";"";"";"";"";"";"";"";"https://data.megalis.bretagne.bzh/OpenData/212901417/Deliberation/2022/vente parcelle d970 à poulfoan-tampon.pdf"
"COMMUNE DE LOQUEFFRET";"21290141715";"04020221";"2022-02-08";"7.1";"Decisions budgetaires";"demande subventions voirie";"";"";"";"";"";"";"";"";"";"https://data.megalis.bretagne.bzh/OpenData/212901417/Deliberation/2022/delib subventions voirie-tampon.pdf"
"COMMUNE DE LOQUEFFRET";"21290141715";"04020222";"2022-02-08";"7.1";"Decisions budgetaires";"subventions chaudière";"";"";"";"";"";"";"";"";"";"https://data.megalis.bretagne.bzh/OpenData/212901417/Deliberation/2022/changement chaudière-tampon.pdf"
"COMMUNE DE LOQUEFFRET";"21290141715";"0402202212";"2022-03-07";"7.10";"Divers";"financement chaudiere";"";"";"";"";"";"";"";"";"";"https://data.megalis.bretagne.bzh/OpenData/212901417/Deliberation/2022/financement chaudière-tampon.pdf"

Lorsque j'ouvre dans excel je choisis encodage utf8

image

lvinsonneau commented 2 years ago

OK, merci @yguenneugues . @ListerRM : as-tu moyen de gérer l'encodage de l'URL dans ton cas de réutilisation des données opendata ?

ListerRM commented 2 years ago

Bonjour,

Oui, et je suis déjà en UTF8. Le problème vient des URLs pré-générés avec des espaces dedans (et des caractères spéciaux)

CaptureDelibVdR
spelhate commented 2 years ago

Une solution serait peut-être d'encoder en html le nom de la délibération. Exemple https://data.megalis.bretagne.bzh/OpenData/213502388/Deliberation/2022/DCM2022-0017%20-%20Personnel%20%E2%80%93%20Avenant%20n1%20%C3%A0%20la%20convention%20cadre%20de%20financement%20et%20de%20fonctionnement%20ASMR%20en%20date%20du%201er%20avril%202021%20-tampon.pdf

A la place de : https://data.megalis.bretagne.bzh/OpenData/213502388/Deliberation/2022/DCM2022-0017 - Personnel – Avenant n1 à la convention cadre de financement et de fonctionnement ASMR en date du 1er avril 2021 -tampon.pdf

clemoigno commented 2 years ago

Bonjour @ListerRM , En effet on constate bien le problème lié à l'utilisation dans le portail https://data.rennesmetropole.fr/ Open Data Soft (c'est bien ce produit qui est derrière ?) ne gère pas cela correctement semble-t-il.

En curl, wget ou dans un navigateur en direct ça passe bien. Depuis Excel aussi.

Bref, on va encoder les blancs de l'URL et cela devrait résoudre le problème.

yguenneugues commented 2 years ago

encodage de l'url de la délibération fait dans le SDCL

installé en preprod

spelhate commented 2 years ago

Merci @yguenneugues

lvinsonneau commented 2 years ago

Merci @yguenneugues @ListerRM : c'est OK pour toi ?

ListerRM commented 2 years ago

@yguenneugues J'ai répondu par mail mais c'est pas passé. J'utilise seulement l'URL publique et j'ai toujours ce soucis d'URL pour la ville. Donc si c'est en preprod j'ai pas accès pour le coup.

Merci

lvinsonneau commented 2 years ago

Effectivement @ListerRM , cela devrait être mis en production d'ici peu par @yguenneugues

yguenneugues commented 2 years ago

installé en production aujourd'hui

yguenneugues commented 2 years ago

vous pouvez tester avec l'api: exemple l'url ci-dessous permet de générer votre SCDL des délibération pour l'année 2022 https://data-api.megalis.bretagne.bzh/api/v1/scdl/deliberation/212901417/2022

ListerRM commented 2 years ago

J'ai testé directement avec ODS et ca fonctionne très bien, merci!

lvinsonneau commented 2 years ago

@ListerRM : de quoi parles-tu précisément ? Tu veux dire que ce qui marchait le 13 mai dernier, n'est plus opérationnel ?

ListerRM commented 2 years ago

@lvinsonneau j'ai écrit ce commentaire il y a des mois (en avril) et c'est réglé depuis. Aucune idée pourquoi il affiche "il y a une heure". A ignorer donc!

lvinsonneau commented 2 years ago

OK, merci Ben @ListerRM !