Impostazione harvesting su hub ODN

tdipisa commented 4 years ago

Impostazione dell'harvesting per il nuovo GN (Centro Servizi Territoriale) dall'hub ODN. Ogni endpoint virtuale deve essere harvestato indipendentemente.

etj commented 3 years ago

Serve un XSL per trasformare il vecchio formato RNDT in RNDT2 per poter essere harvestato da gn3

taba90 commented 3 years ago

@etj completato il test dell'xsl AGID rndt1-to-rdnt2. Il metadata prodotto tendenzialmente valida da INSPIRE, ma ci sono alcune cose da controllare meglio nell'xsl:

riga 203 gestione thesaurus gemet: il match del template è con un '=' secco ma da quanto ho visto da alcuni metadati RNDT per il thesaurus name alcune volte non viene usata esattamente la stringa 'GEMET - INSPIRE themes, version 1.0' anche se il thesaurus name contiene la parola GEMET; forse è quindi il caso di usare un contains(path,'GEMET'); Il thesaurusName viene inoltre matchato con gco:CharacterString, sostituirei con *.
riga 322 viene gestito il thesaurusName 'GEMET - Concepts, version 2.4' immagino quindi se optiamo per il contains sopra, un != 'GEMET - Concepts, version 2.4' andrebbe messo in and.
manca una gestione per l'elemento srv:extent, solo gmd:extent viene gestito per la temporal Section
riga 775 gmd:transferOptions l'elemento gmd:description non è gestito ma è sempre settato a access point, mentre gmd:applicationProfile e gmd:protocol lo sono. Da specifiche rndt v1 nessuno dei tre elementi è presente quindi non si capisce il diverso diverso trattamento.

taba90 commented 3 years ago

ho fatto questa pr su C024-CMFI per aggiungere l'xsl rndt1-to-rdnt2 https://github.com/geosolutions-it/C024-CMF/pull/5. Per ora l'ho lasciato allo stato originario

taba90 commented 3 years ago

La pr è stata aggiornata con le seguenti modifiche:

gestione elemento srv:extent in temporal section;
utilizzo di xsl:choose invece di when per le keywords INSPIRE

tdipisa commented 3 years ago

@etj da impostare l'harvester di test sul nostro DEV e aggiornare la documentazione. Serve harvestare almeno il GN di linea comune (Centro Servizi Territoriale) più qualche altro harvester replicando alcuni di quelli attualmente in uso nell'hub ODN: da valutare se ce ne sono alcuni non RNDT compliant.

etj commented 3 years ago

Un nodo RNDTv2 non può harvestare nodi RNDTv1.

Se si cerca di effettuare una conversione al volo impostando la trasformazione rndt1-to-rndt2.xsl nell'harvesting, il metadato verrà sì convertito, ma sarà comunque considerato un documento iso19139, non un iso19139.rndt, poichè il detecting dello schema avviene prima della trasformazione xsl. Questo fa sì che non vengano applicati i processamenti propri dello schema iso19139.rndt, tipo, ad esempio, l'indicizzazione per iPA, per cui i metadati harvestati non saranno mostrati (e quindi selezionabili) dal facet "pubblica amministrazione".

Si potrebbe implementare qualche modifica nell'harvester CSW per permettere una trasformazione del metadato prima che venga effettuato l'autodetect, ma questo implica implementazione e PR nel GN ufficiale, e relativa manutenzione della modifica.

etj commented 3 years ago

A completamento del commento precedente, questa la issue per la modifica da implementare https://github.com/geosolutions-it/core-geonetwork/issues/58

Poichè si tratta di una modifica atta ad attenuare le problematiche di transizione da RNDTv1 a RNDTv2 in opendatanetwork, questa modifica non verrà, almeno per il momento, proposta alla community sulla repo ufficiale.

tdipisa commented 3 years ago

@etj su questa issue abbiamo concordato di implementare quanto necessario sul nostro fork. Qual è lo stato?

tdipisa commented 3 years ago

PR here: https://github.com/geosolutions-it/core-geonetwork/pull/61

geosolutions-it / core-geonetwork

Impostazione harvesting su hub ODN #49