Carte Couverture géographique

johanricher commented 10 months ago

User story

Je suis Un gestionnaire de catalogue. Un administrateur ministériel des données.

Je veux En tant que gestionnaire, j'ai un rôle de coordination. Je souhaite apprécier mon patrimoine de données au regard des besoins de standardisation et d'agrégation, d'ouverture ou plus simplement de sélection des jeux de données les plus pertinents pour mon usage. Je souhaite pouvoir évaluer la qualité de mon patrimoine et en promouvoir l'amélioration :

à partir d'indicateurs et/ou de visualisations basés sur les métadonnées,
en identifiant les jeux de données dont les métadonnées gagneraient à être complétées, actualisées, consolidées, etc.

Je peux [Par exemple depuis l'univers PPRN #5 (base de travail de l'itération 2)]

[Distinguer mes jeux de données] Identifier la part de jeux de données locaux et nationaux. Visualiser la distribution spatiale de mes jeux de données, au niveau des départements.

Besoins associés (du plus au moins évident)

4- Connaître la répartition des jeux de données sur une origine géographique
32- Comparer la qualité des jeux de données produits au niveau national par rapport à ceux produits au niveau local

Implémentation

Superset chart type: Country Map

Découpage par département
Code couleur en fonction du nombre de jeux de données par département

Métadonnées utilisées

Couverture géographique : champ spatial_coverage

Remarques

Après première production de l'indicateur

Comment l'indicateur en l'état répond aux besoins ?

À remplir pendant la phase in review

Comment pourrait-il être amélioré ?

À remplir pendant la phase in review

Préconisations

À remplir pendant la phase in review

Thesauruv commented 10 months ago

dcterms:spatial renvoie vers :

une propriété dcat:bbox qui correspond à un polygone de l'emprise spatiale. Cette métadonnée est bien renseignée (taux de remplissage autour de 96%). Elle n'est toutefois pas encore récupérée par data.gouv.
un URI Insee (par ex. http://id.insee.fr/geo/commune/41269) : celui-ci est malheureusement moins renseigné (54%)

L'utilisation de l'URI peut être plus simple en première instance, bien que moins d'information soit disponible.

Thesauruv commented 10 months ago

J'exclurais de ce ticket le besoin exprimé en ligne 29 Identifier les données géographiques dont la topologie devrait être vérifiée (chevauchement temporel et / ou spatial : je le conçois davantage en lien avec des contrôles de qualité sur les données elles-mêmes (mention de la topologie).

Thesauruv commented 10 months ago

J'avais à partir des bbox réalisé l'histogramme ci-dessous. Il serait intéressant pour les cartes de distinguer les jeux de données départementaux (en incluant celles disponibles au niveau communal) des jeux de données régionaux. Pour les jeux de données nationaux une carte n'est pas utile.

qloridant commented 10 months ago

@johanricher , au vu des informations apportées par @Thesauruv, j'aurai besoin de plus d'informations/ de validations :

On est utilise bien le champ URI Insee ? Plus simple, récupéré par data.gouv.fr, mais moins renseigné que le champ spatial_coverage. Je redemande car on part sur deux styles de traitement très différents.
Dans cette carte nationale découpée par département, comment répond-on au besoin : "32- Comparer la qualité des jeux de données produits au niveau national par rapport à ceux produits au niveau local" ? Comme suggéré, dans la carte départementale je vais agréger les mailles inférieures, mais cela ne fera pas tout.

qloridant commented 10 months ago

Vu avec @Thesauruv : on utilise bien le champ URI Insee

Ne pas faire l'aggrégation des mailles inférieures, car c'est bien la couverture de la maille qui nous intéresse

qloridant commented 10 months ago

/!\ Attention, dans le champs URI INSEE, un jeu de données peut présenter deux mailles différentes (ex: département et commune).

Dans ce cas, il faut garder uniquement le maille la plus petite et supprimer l'autre

qloridant commented 9 months ago

Carto départementale disponible ici ou sur le dashboard.

J'ai crée une colonne département et une colonne commune, basé sur le champ URI. En cas de présence de donnée communale et départementale pour un même dataset, je supprime la maille départementale (car ne représente pas tout le département).

La carto est assortie d'un affichage du taux de remplissage de la donnée 'departement'. Les informations multiples sont bien comptées (ex : un dataset affiche deux communes, alors les deux communes sont compatabilisées)

qloridant commented 9 months ago

@Thesauruv : pour aggréger les communes et départements, il faudrait :

Lancer une requête à la geo API afin de connaître le département dans lequel se trouve une commune (et créer un cache pour ne pas lancer des dizaines de milliers de requêtes inutilement)

Thesauruv commented 9 months ago

Un hack serait de prendre les deux premiers chiffres du code commune, passer l'API pour identifier le département serait effectivement plus clean mais laborieux. Je viens de regarder le graphe : lorsqu'une commune est renseignée, l'URI du département ne l'est pas systématiquement.

qloridant commented 9 months ago

@Thesauruv j'ai utilisé ce hack pour augmenter la quantité de donnée du champ département ! Nous avons maintenant dans le département :

les données du département
les données référençant le département et des communes
les données référençant des communes pour lesquel nous allons chercher le département de la première commune listée

ecolabdata / ecospheres-metadata