Mapping Metawal-géoportail

vbombaerts commented 2 years ago

Ticket qui reprend les ajouts/modifications à apporter au mapping géoportail.

Fichier de mapping https://walloniegov.sharepoint.com/:x:/r/sites/Metawal-Goportail/_layouts/15/Doc.aspx?sourcedoc=%7B3B60E03A-0878-4822-8DF6-E5EF6E5892D2%7D&file=Mapping%20Geoportail%20Metawal.xlsx&action=default&mobileredirect=true

Fichiers d'index https://github.com/SPW-DIG/metawal-core-geonetwork/commits/metawal-4.1.0/schemas/iso19115-3.2018/src/main/plugin/iso19115-3.2018/index-fields et https://github.com/SPW-DIG/metawal-core-geonetwork/blob/metawal-4.1.0/web/src/main/webapp/xslt/common/index-utils.xsl

Modifications

[x] resourceHookAbstractObject - Prendre le point final dans le champ
[x] resourceHookAbstractObject - à localiser en fonction des langues de la fiche. Si resourceTitleObject est localisé, il faut aussi localiser resourceHookAbstractObject
[x] Il existe une série de champs qui indexent les ressources en ligne en tenant compte du protocole (linkUrlProtocolESRIREST, linkUrlProtocolDBORACLE, etc). Ca ne me permet pas de différencier tous les types de ressources en ligne. Il faudrait apporter plus de différenciation dans les ressources en ligne en tenant compte de la fonction, du protocole, et du fait qu'il y a une valeur ou pas dans l'application profile. Par exemple linkUrlBrowsingESRIREST, linkUrlBrowsingESRIRESTap, linkUrlInformationWWWLINK, linkUrlInformationWWWLINKap, etc. Dans chaque champ, plutôt que uniquement l'URL, il faut un objet avec URL, titre et descriptif, comme par exemple dans le champ linkThematicmap. - A discuter : ajouter aussi la section de métadonnées dans laquelle on est. Question : Est-ce gérable si on a des fiches dans plusieurs standards ??

Ajout de champs

[x] Pour les valeurs issues du thésaurus InfraSIG, il faudrait créer 1 booléen par couple de valeurs dans le thésaurus. Idéalement, ça devrait se faire automatiquement comme ça quand j’ajoute ou je retire des couples de valeurs il ne faut pas adapter la routine d’indexation. (ex: boolReporting_INSPIRE : vrai si on trouve le mot-clé reporting INSPIRE dans le thésaurus InfraSIG, faux si on trouve le mot-clé reporting INSPIRENO, inconnu/pas indexé si on ne trouve aucun des deux).
[x] Ajouter les ressources en ligne des sections ContentInfo (modèle de données), Portrayal (légendes), Quality (rapport de qualité, spécifications), Lineage (rapport de production). Différencier les différents types de ressource en fonction du "rangement" dans une section ou sous-section spécifique du XML. Pour chaque élément on a besoin du titre, descriptif et URL.
[x] Ajouter Précision planimétrique - section qualité > report > absolute external accuracy
[x] Ajouter l'identifiant global de la ressource. C'est l'identifiant dont le code space est http://geodata.wallonie.be/id/. Il faut concaténer le codespace et le code pour créer l'identifiant.
[x] Indexer aussi le contact pour la fiche de métadonnées --> contactForMetadata

Questions techniques pour @davinciagf

[x] Pour l'imagette, tu renseignes qu'on peut utiliser soit overview.url soit overview.data. Je n'ai pas trouvé ce dernier champ ni dans la réponse ni dans kibana. EDIT : je l'ai retrouvé sur des fiches internes au catalogue mais pas sur les fiches moissonnées. Donc je pense que c'est plus sûr d'utiliser overview.url.
[x] Problème d'indexation des mots-clés. Certains sont dans th* , d'autres dans allKeywords et certains dans les deux mais il faut regarder dans les 2 pour tout avoir. (ex : GEMET, GEMET thèmes et federal thasaurus ne sont que dans th_)
[x] Est-il possible d'agréger dans un champ de l'index des valeurs venant d'autres champs de l'index ? Par exemple, peut-on indexer les mots-clés dans un champ relatif à leur thésaurus (ex GEMET_tags, INFRASIG_tags, INSPIRE_tags) puis agréger ces valeurs dans un autre champ en spécifiant les champs qu'on veut agréger (ex tag_GP = GEMET_tags & INSPIRE_tags3) ? En utilisant un champ agrégé/alias, on peut gérer les évolutions du mappng côté Metawal et assurer la stabilité pour le géoportail. Ca permet de conserver une indexation générique dans Metawal, capable de gérer plusieurs cas de figure sur base d'une règle générique, puis d'être spécifique et précis pour le géoportail en ajoutant une couche d'interprétation des champs génériques (par agrégation ou alias).
[x] SpecificationConformance a l'air d'être un objet complexe. Peut-on adresser directement le nom du test et le résultat du test ? (ex : SpecificationConformance.title, SpecificationConformance.pass...)
[x] Même question pour un élément comme contactForResource. Peut-on adresser directement les infos d'un contact ayant un certain rôle (ex : contactForResource[role=custodian].email ?
[x] Comment accéder aux données associées ? Quels informations peut-on exploiter. Démo nécessaire sur service de recherche des données associées.

Questions mapping pour @vbombaerts et SMA

[x] resourceType vs cl_resourceScope.langfre, SpatialRepresentationType, etc. - Pour chaque codelist, il faut choisir si on utilise la valeur de la code list ou sa traduction.
[x] Plusieurs champs marqués comme plus nécessaires. A valider avec SMA
[x] Pour la date de dernière mise à jour de la donnée, on utilise pour le moment le code "revision". Est-il utile de conserver un historique des révisions ? Dans ce cas, on utiliserait "last revision" comme code pour la dernière révision et "revision" pour l'historique des dates de révision.
[x] Dans le header, quelle information a le plus d'intérêt : le propriétaire ou le gestionnaire ? Le gestionnaire me semble plus approprié car c'est lui qui gère la donnée au quotidien et qui en a la responsabilité effective.
[x] Que fait-on au niveau de la localisation des des fiches multilingues (IGN par ex). Utilise-t-on la langue par défaut ou force-t-on le français (ex : resourceAbstractObject.default ou resourceAbstractObject.langfre) ? Le GP est-il capable de gérer le multilingue ? MW est-il capable de gérer les cas où on force le français mais que rien n'est indiqué en français ? ==> on renseigne le champ localisé en français et le champ par défaut. Le GP met en place un process qui vérifie d'abord le champ localisé en français et, si il est vide, prend la valeur par défaut du champ.
[x] Pour les thèmes du GP, faut-il transmettre la version avec hiérarchie ou la version plate ?
[x] Au niveau des mots-clés et thématiques, ne pas inclure tous les mots-clés. Discuter ce qui ne doit pas être transmis : th_federalthesaurus.default, th_gemet-theme.default, th_gemet.default, th_httpinspireeceuropaeumetadatacodelistIACSData-IACSData.default, th_httpinspireeceuropaeumetadatacodelistPriorityDataset-PriorityDataset.default, th_httpinspireeceuropaeumetadatacodelistSpatialScope-SpatialScope.default, th_httpinspireeceuropaeutheme-theme.default, th_infraSIG.default, th_INSPIRE-feature-concept-dictionary.default, th_inspire-theme.default, th_otherKeywords-.default, th_SpatialScope.default, th_Themes_geoportail_wallon_hierarchy.keywords.default, th_themes_ODWB.default
[x] Est-il opportun d'indiquer les mots-clés dans la fiche GP ? Quelques catégories, OK, mais l'objectif des mots-clés est-il d'être affichés ? Si on ne les importe pas, le GP peut-il en tenir compte dans ses recherches (les importer et les laisser en back office) ? Ne vaut-il pas mieux basculer sur une recherche directe dans MW ?
[x] Description/identifiants : Est-ce que ça vaut la peine de différencier les deux types d'identifiant (global et local ?). Pourrait-on donner tous les identifiants en vrac ?

Démonstrateur

J'ai intégré les infos des différents onglets dans un tableau de bord Kibana pour savoir exactement quelle info le GP récupère. C'est ici (accessible en admin) : https://metawal4.test.wallonie.be/geonetwork/dashboards/app/dashboards#/view/fcf81a70-7977-11ec-b66e-6b9d04e45798?_g=(filters:!(),refreshInterval:(pause:!t,value:0),time:(from:now-3y,to:now))

La config des tableaux est ici : https://walloniegov.sharepoint.com/:u:/r/sites/Metawal-Maintenanceetdveloppements/Documents%20partages/General/export_ficheGP_Kibana.ndjson?csf=1&web=1&e=KsbORB

vbombaerts commented 2 years ago

Liste des agrégations

[x] Thèmes INSPIRE : allKeywords.th_httpinspireeceuropaeutheme-theme.keywords (codage Metawal) + allKeywords.th_inspire-theme.keywords (codage IGN) (il y a d'autres éléments pour lesquels le codage Metawal et le codage IGN diffèrent, mais je propose qu'on les agrège quand on en aura besoin. Ex : liste des prioritydatasets INSPIRE) cf. https://github.com/titellus/core-geonetwork/pull/112
[x] Mots-clés pour le géoportail : allKeywords.th_httpinspireeceuropaeumetadatacodelistIACSData-IACSData.keywords + allKeywords.th_httpinspireeceuropaeumetadatacodelistPriorityDataset-PriorityDataset.keywords + allKeywords.th_httpinspireeceuropaeumetadatacodelistSpatialDataServiceCategory-SpatialDataServiceCategory.keywords + allKeywords.th_httpinspireeceuropaeumetadatacodelistSpatialScope-SpatialScope.keywords + allKeywords.th_INSPIRE-feature-concept-dictionary.keywords + allKeywords.th_INSPIREprioritydataset.keywords + allKeywords.th_otherKeywords-.keywords + allKeywords.th_otherKeywords-place.keywords + allKeywords.th_otherKeywords-theme.keywords + allKeywords.th_SpatialScope.keywords + allKeywords.th_themes_ODWB.keywords + th_federalthesaurus + th_gemet-theme + th_gemet = mw-gp-keywords
[x] conditions d'accès et d'utilisation pour le géoportail : MD_LegalConstraintsOtherConstraintsObject + MD_LegalConstraintsUseLimitationObject + MD_ConstraintsUseLimitationObject + userNote = mw-gp-constraints

fxprunayre commented 2 years ago

Ajouter les ressources en ligne des sections ContentInfo (modèle de données), Portrayal (légendes), Quality (rapport de qualité, spécifications), Lineage (rapport de production). Différencier les différents types de ressource en fonction du "rangement" dans une section ou sous-section spécifique du XML. Pour chaque élément on a besoin du titre, descriptif et URL.

2 options:

soit on ajoute la réponse de l'API /records/{uuid}/related dans la réponse de la recherche à la demande
soit on ajoute les champs dans l'index

vbombaerts commented 2 years ago

Puisque c'est encodé "en dur" dans la fiche (sections qui font partie du xml), je dirais option 2. C'est pas comme si on renseigne l'identifiant d'une fiche en relation puis qu'on va chercher dans cette fiche d'autres informations. Quel serait l'intérêt de l'option 1 ?

fxprunayre commented 2 years ago

Quel serait l'intérêt de l'option 1 ?

En fait l'API /related gère les fiches multilingues (et j'ai l'impression que ça devient un sujet d'intérêt ;)) et les éventuels privilèges. J'ai fais les 2 en mutualisant les mêmes fonctions. il restera à gérer le multilingue côté indexation si besoin. Ca fera partie de https://github.com/titellus/core-geonetwork/pull/115. L'option 1 permettra aussi d'être plus performant sur la consultation des fiches aussi.

fxprunayre commented 2 years ago

Ajouter Précision planimétrique - section qualité > report > absolute external accuracy

Faut peut être mettre un peu de contexte ?

Est-ce qu'au lieu d'un champ measure_{$measureName}={value}, on ferait pas un tableau de mesure avec:

name
value
unit
description
type eg. DQ_AbsoluteExternalPositionalAccuracy ?

vbombaerts commented 2 years ago

Est-ce qu'au lieu d'un champ measure_{$measureName}={value}, on ferait pas un tableau de mesure avec:

name

value

unit

description

type eg. DQ_AbsoluteExternalPositionalAccuracy ?

Bonne idée. C'est plus générique. En plus on va avoir des nouvelles mesures de qualité liées à l'intégrité des données.

Donc on aurait (exemple fictif) :

type = critère de qualité tel que défini par l'ISO eg. DQ_AbsoluteExternalPositionalAccuracy
Name = Nom du critère de qualité mesuré eg "Précision planimétrique de la donnée au niveau de confiance CE95"
Description = Explication de la méthode d'évaluation du critère de qualité eg "La précision est calculée par une méthode de comparaison de la position absolue de points bien identifiables sur l'image avec leurs homologues sur le terrain, dont la position est mesurée à 2 cm près grâce à une station totale couplée aux mesure de GPS différentiel."
Value = valeur du critère eg "12"
Unit = unité de la mesure eg "centimètres"

Attention ! Ce n'est valable que pour les mesures de qualité qui ont un résultat quantitatif.

Pour les mesures de qualité qui ont un résultat de conformité, ça ne marche pas. Par exemple pour la conformité INSPIRE.

vbombaerts commented 2 years ago

Pour info personnelle, les modifications d'index se font ici : https://github.com/SPW-DIG/metawal-core-geonetwork/commits/metawal-4.1.0/schemas/iso19115-3.2018/src/main/plugin/iso19115-3.2018/index-fields et là : https://github.com/SPW-DIG/metawal-core-geonetwork/blob/metawal-4.1.0/web/src/main/webapp/xslt/common/index-utils.xsl

vbombaerts commented 2 years ago

@davinciagf mauvaise définition pour mw-gp-localIdentifier : l'identifiant "metawal" ne doit pas être pris.

vbombaerts commented 2 years ago

@davinciagf pour le typage des ressources en ligne, il me semble que la condition AppProfile="1" ne fonctionne pas. Fiche https://metawal4.test.wallonie.be/geonetwork/srv/fre/catalog.search#/metadata/69fbfdd4-0fd4-4e87-97d3-5662f397d9c0

Ce qui est encodé :

La règle :

Ce qui est dans l'index :

vbombaerts commented 2 years ago

@fxprunayre Pour l'ajout des document associés dans le service des relations titellus#115, peux-tu ajouter aussi la description. Actuellement pour les nouveaux items de type légende, feature catalogue... on n'a que le titre et l'url.

https://metawal4.test.wallonie.be/geonetwork/srv/fre/catalog.search#/metadata/b795de68-726c-4bdf-a62a-a42686aa5b6f

fxprunayre commented 2 years ago

TODO: Association service/données - dans la fiche de la donnée, vers les liens - tenter de faire un matching sur l'URL pour afficher un bouton consulter la fiche quand un service est aussi dans les related. Faire côté interface pour le moment / A voir si on fait ça à l'indexation.

vbombaerts commented 2 years ago

Quel serait l'intérêt de l'option 1 ?

En fait l'API /related gère les fiches multilingues (et j'ai l'impression que ça devient un sujet d'intérêt ;)) et les éventuels privilèges. J'ai fais les 2 en mutualisant les mêmes fonctions. il restera à gérer le multilingue côté indexation si besoin. Ca fera partie de titellus#115. L'option 1 permettra aussi d'être plus performant sur la consultation des fiches aussi.

Dans les champs ajoutés au JSON par la l'API/related, le multilingue n'est pas géré de la même façon que dans le reste du JSON

alors que dans un champ indexé on a

Ce serait peut-être mieux d'avoir la même logique partout.

fxprunayre commented 2 years ago

Dans les champs ajoutés au JSON par la l'API/related, le multilingue n'est pas géré de la même façon que dans le reste du JSON

Cf. https://github.com/SPW-DIG/metawal-core-geonetwork/issues/719 car ce n'est pas si simple (enfin si on veut le faire de manière un peu complète, simplifier un peu les choses et sans doute gagner en performance)

vbombaerts commented 2 years ago

Deux demandes restantes

[ ] Association service/données - dans la fiche de la donnée, vers les liens - tenter de faire un matching sur l'URL pour afficher un bouton consulter la fiche quand un service est aussi dans les related. Faire côté interface pour le moment / A voir si on fait ça à l'indexation.
[ ] Dans les champs ajoutés au JSON par la l'API/related, le multilingue n'est pas géré de la même façon que dans le reste du JSON

vbombaerts commented 2 years ago

Je scinde pour pouvoir fermer la milestone

vbombaerts commented 2 years ago

Est-il encore possible d'indexer le nom du type de ressource sur cette version ?

On l'utilise pour différencier les données des cartes. On pense aussi l'utiliser pour différencier les applications généralistes des applications spécifiques métier.

davinciagf commented 2 years ago

Modif réalisée sur MW test (resourceTypeName): GN PR : https://github.com/geonetwork/core-geonetwork/pull/6237

SPW-DIG / metawal-core-geonetwork