search

megalis-bretagne / opendata-extraction

2 stars 2 forks source link

Alimentation du catalogue régional (lien vers l'api au lieu des données) #35

Closed gautierrog closed 3 months ago

gautierrog commented 1 year ago 

Bonjour à tous, 

Lors du dernier GT Open data, Yann a souligné le côté couteux de la mise à jour des 3 jeux de données (decp, budget, délibération) pour chaque entité sur notre catalogue. 

Je vous suggère une évolution dans le mode d'alimentation. 
Plutôt que de générer en avance les 3 jeux de données pour chaque entité, je propose pour chaque entité de référencer dans UDATA le lien vers l'API Open data qui va bien. 
Ainsi pour Megalis on aurait dans UDATA le lien vers vers le téléchargement du jeu de données decp 2003, soit : 
https://data-api.megalis.bretagne.bzh/api/v1/decp/253514491/2023
Et ainsi de suite. 
J'ai fait le test en prod avec ce jeux de données https://data-catalogue.megalis.bretagne.bzh/fr/datasets/api-decp/ 

Le gain : On n'a plus qu'une source de données à maintenir (API) 
La publication des jeux de données sera considérablement allégée. On publie un lien dans le catalogue et pas les données. Si pas de réutilisation, on ne consomme pas d'espace disque inutilement en générant à l'avance des trucs inutilisés. 

Le risque : L'API Open data risque d'être davantage utilisée. Sera t'elle suffisament robuste pour encaisser les demande de génération à la volée de fichiers ? 

Voilà, c'est la réflexion du jour sur le catalogue. Qu'en pensez-vous ? 

Sébastien Pelhate
lvinsonneau commented 1 year ago

Avant de lancer le dev sur ce sujet, juste une question : peut-on discuter de certains points pour analyser les conséquences de ce dev. (iso-fonctionnalités ?) ex. pourra-t-on toujours pré-visualiser les informations dans le catalogue ?

lvinsonneau commented 1 year ago

Je le repasse en backlog

gautierrog commented 1 year ago

Les prévisualisations n'ont l'air d'être uniquement disponibles que pour les fichiers uploadés vers le catalogue:

image

De plus, la taille du fichier ne sera plus affichée.

D'après ce que j'ai vu au niveau de l'API catalogue jusqu'à présent, pour un fichier donné, il n'est pas possible de supprimer son upload associé. Nous n'aurons donc probablement pas d'autre choix que de recréer les fichiers, perdant la date de création initiale au passage.

Finalement - sans surprise, l'url vers le fichier hebergé sur le catalogue ne sera plus valide.

lvinsonneau commented 1 year ago

Discussion en point projet : Ce qu'on perd :

Ce qu'on gagne :

lvinsonneau commented 1 year ago

OK, vu en point interne Mégalis ce jour : on valide et je passe le ticket en "to do"

lvinsonneau commented 9 months ago

Des news sur cette issue ?

gautierrog commented 9 months ago

Oui, la feature était prête, on ne l'a juste pas encore déployée. Je viens de la mettre en preproduction - les changements sur le catalogue devraient se voir dès demain matin.

lvinsonneau commented 9 months ago

OK, merci @gautierrog . @syji35 , je te laisse regarder pour validation avant MEP.

syji35 commented 3 months ago

Déjà en production. Validé, sur le catalogue, on positionne bien des liens vers l'API. directement. Fait en 2.1.0