search

SPW-DIG / metawal-core-geonetwork

Metawal - Catalogue pour l'information géographique de Wallonie
http://metawal.wallonie.be
GNU General Public License v2.0
3 stars 1 forks source link

Les thésaurus sont encodés avec une date de publication en double #918

Open vbombaerts opened 1 month ago

vbombaerts commented 1 month ago

Sur Metawal-temp (pas vérifié sur les autres environnements), quand on ajout des mots-clés depuis un thésaurus, la date de publication du thésaurus est encodée en double

image

Ex: https://metawal-temp.wallonie.be/geonetwork/srv/eng/catalog.search#/metadata/cead67e8-fd93-4741-a38b-fa798f723a39 ou

vbombaerts commented 1 month ago

Peut-être directement lié au thésaurus. J'ai le problème aussi sur la prod actuelle et j'ai réimporté des thésaurus hier. Même le thésaurus infraSIG pose problème aujourd'hui alors qu'hier j'ai édité plusieurs fiches pour ajouter un mot-clé infrasig sans souci.

vbombaerts commented 1 month ago

Solution temporaire pour corriger les XML : batch edit de type supprimer avec la condition suivante (sur les données/series)

/mdb:MD_Metadata/mdb:identificationInfo/mri:MD_DataIdentification/mri:descriptiveKeywords/mri:MD_Keywords/mri:thesaurusName/cit:CI_Citation/cit:date[2]

fxprunayre commented 1 month ago

En lien avec https://github.com/geonetwork/core-geonetwork/pull/6972

vbombaerts commented 1 month ago

J'ai l'impression que c'est présent sur tous les thésaurus, pas uniquement sur les thésaurus DCAT. A vérifier. J'ai aussi l'impression que c'est apparu "tout à coup" alors que le problème n'était pas là avant. (mais je ne l'avais peut-être juste pas remarqué avant...)

fxprunayre commented 1 month ago

Oui c'est pour tous les thésaurus. L'idée était d'ajouter les informations sur toutes les dates du thésaurus (création, publication, révision) quand elles sont déclarées. Y'a quelques améliorations possibles.

fxprunayre commented 1 month ago

A déployer en test @GeryNi

Cf. https://github.com/geonetwork/core-geonetwork/pull/8392

fxprunayre commented 1 month ago

Disponible en test pour validation.

vbombaerts commented 1 month ago

C'est pas encore ça. J'ai ouvert en édition puis enregistré et fermé. https://metawal.test.wallonie.be/geonetwork/napits/api/records/5467f3bd-c898-4531-bb4f-9f7b670d794b/formatters/xml image

fxprunayre commented 1 month ago

Oui j'attends un retour de Ian pour savoir ce qu'ils voulaient faire exactement. Pour nous, le plus simple serait de n'avoir qu'une date dans le thésaurus de type années-mois-jour eg. 

    <dcterms:modified>2015-12-17</dcterms:modified>

Peut être que ça vaut le coup de prendre tous les thésaurus de prod et de les mettre dans github en vérifiant ça ?

fxprunayre commented 1 month ago

Thésaurus mis à jour dans github

https://github.com/SPW-DIG/metawal-core-geonetwork/tree/metawal-4.4.x/web/src/main/webapp/WEB-INF/data/config/codelist/external/thesauri/theme

avec correction dans les thésaurus suivants:

Corrections:

Correction faite lors de l'import depuis un registre pour ne fixer que la date dct:issued

vbombaerts commented 1 month ago

Je voudrais modifier le nom high-value-dataset-applicable-legislation.rdf --> applicable-legislation.rdf et qques infos (title, description + ajout des legilsations ITS) de https://github.com/SPW-DIG/metawal-core-geonetwork/blob/metawal-4.4.x/web/src/main/webapp/WEB-INF/data/config/codelist/external/thesauri/theme/high-value-dataset-applicable-legislation.rdf,

Est-ce qu'en faisant un batch editing pour changer le nom du thésaurus dans les fiches permettra de ne pas casser les fiches ?

vbombaerts commented 1 month ago

Une fois les thesaurus corrigés rechargés, il faut éditer toutes les fiches ?

vbombaerts commented 1 month ago

Thésaurus corrigés rechargés en environnement de valid

vbombaerts commented 1 month ago

Thésaurus corrigés rechargés en prod. Il faut repérer et corriger les fiches qui ont encore l'erreur de la double date de publication via une requête SQL. A faire pour les 3 environnements.

fxprunayre commented 1 week ago

Pour avoir la liste des fiches:


WITH ns AS (select ARRAY [ARRAY ['xlink', 'http://www.w3.org/1999/xlink'],
                       ARRAY ['mdb', 'http://standards.iso.org/iso/19115/-3/mdb/2.0'],
                       ARRAY ['cit', 'http://standards.iso.org/iso/19115/-3/cit/2.0'],
                       ARRAY ['mri', 'http://standards.iso.org/iso/19115/-3/mri/1.0'],
                       ARRAY ['mco', 'http://standards.iso.org/iso/19115/-3/mco/1.0'],
                       ARRAY ['mrd', 'http://standards.iso.org/iso/19115/-3/mrd/1.0'],
                       ARRAY ['xsi', 'http://www.w3.org/2001/XMLSchema-instance'],
                       ARRAY ['gco', 'http://standards.iso.org/iso/19115/-3/gco/1.0']] AS n)
SELECT * FROM (
    SELECT distinct(
                             unnest(xpath('//mdb:identificationInfo/*/mri:citation/*/cit:title/*/text()',
                                          XMLPARSE(DOCUMENT data), n)))::text AS currentTitle,
                         uuid                                                 as currentId,
                         unnest(xpath('count(//mri:descriptiveKeywords/*/mri:thesaurusName/*[count(cit:date) > 1]/cit:title/*/text())',
                                      XMLPARSE(DOCUMENT data), n))::text::int      AS nbThesaurusWithMoreThanOneDate
          FROM metadata,
               ns
          WHERE isharvested = 'n'
          ORDER BY uuid) AS records
WHERE nbThesaurusWithMoreThanOneDate > 0;
fxprunayre commented 1 day ago

A tester avec le process http://localhost:8080/geonetwork/srv/api/processes/update-thesaurus-block?uuids=76941c77-2a18-4d0a-928a-994294e7847a&applyUpdateFixedInfo=true