search

SPW-DIG / metawal-core-geonetwork

Metawal - Catalogue pour l'information géographique de Wallonie
http://metawal.wallonie.be
GNU General Public License v2.0
3 stars 1 forks source link

Déploiement micro-service OGC API Records #817

Closed vbombaerts closed 1 year ago

vbombaerts commented 1 year ago

Suivi et bugs éventuels sur le déploiement du micro-service OGC API Records - version 4.2.3 Procédure et package de déploiement fournis par Spacebel. Mev le 29-03 Mep à définir.

vbombaerts commented 1 year ago

https://metawal4.test.wallonie.be/geonetwork/api/collections/geoportailwal/items/20542fa1-6495-4521-a813-1ca3e257f3ed?f=dcat

fxprunayre commented 1 year ago

Le point à vérifier dans cette mise à jour et le format dcat disponible pour une recherche

image

eg. https://sextant.ifremer.fr/geonetwork/api/collections/main/items

image

vbombaerts commented 1 year ago

Dans ce cas, ce n'est ni dispo en test ni en valid https://metawal4.test.wallonie.be/geonetwork/api/collections/main/items/ https://metawal4.valid.wallonie.be/geonetwork/api/collections/main/items/

Par contre on a qqch en prod --> ?? https://metawal.wallonie.be/geonetwork/api/collections/main/items/

Mais ça ne marche pas des masses...

christophenoel commented 1 year ago

Vous avez pu mettre à jour OGC API Records sur test ?

Si je comprends bien les messages précédents: 👍 https://metawal4.test.wallonie.be/geonetwork/api/collections/geoportailwal/items/20542fa1-6495-4521-a813-1ca3e257f3ed?f=dcat 👎 https://metawal4.test.wallonie.be/geonetwork/api/collections/main/items/c2a08d91-aaf3-4b4b-b63a-9041a7a3a745?f=dcat

vbombaerts commented 1 year ago

Le package n'a pas été déployé en test. Uniquement en valid et en prod. François a indiqué que pour qu'on puisse considérer que ça fonctionne, il faut qu'on ait l'option "dcat" sur l'interface de recherche qui correspond à la collection. Ce n'est pas le cas en test ni en valid. En prod, on l'a mais on n'arrive pas à browser les éléments de la collection.

christophenoel commented 1 year ago

Ok. Comme nous n'avons pas d'accès à test, il est normal que cela ne fonctionne pas, car nous ne n'avons donc pas mis à jour OGC API Records.

L'erreur sur valid ci-dessous semble montrer que le serveur OGC API Records n'est pas démarré. org.apache.http.conn.HttpHostConnectException: Connect to localhost:9901 [localhost/127.0.0.1] failed: Connection refused (Connection refused)

Il faudrait collecter les logs pour pouvoir identifier le problème de démarrage.

christophenoel commented 1 year ago

Je pense qu'il serait préférable de tester sur test d'abord, avant de déployer sur valid. Par ailleurs, il serait également utile de pouvoir obtenir les configurations actuelles de OGC API Records sur valid et sur prod (fichier bootstrap.yaml). Merci.

vbombaerts commented 1 year ago

A voir directement avec Didier au DTIC. Il t'a envoyé des mails ce matin. De mon côté, j'ai fait la demande pour que vous soyez autorisés à accéder à l'infra Metawal test. La demande suit son cours.

christophenoel commented 1 year ago

Merci. Je n'ai reçu aucun mail de Didier par contre.

vbombaerts commented 1 year ago

Suite à redéploiement du nouveau package, on a bien la ligne dcat qui s'affiche sur l'interface de recherche. https://metawal4.test.wallonie.be/geonetwork/api/collections/main/items Par contre quand on clique dessus, on récupère un fichier rdf vide.

christophenoel commented 1 year ago

Sans doute un problème plus particulier, car ceci fonctionne : https://metawal4.test.wallonie.be/geonetwork/api/collections/main/items/c2a08d91-aaf3-4b4b-b63a-9041a7a3a745?f=dcat

christophenoel commented 1 year ago

Attention que Vincent et Didier vous êtes tous les deux en même temps de redéployer le même service d'après vos emails ;)

Il me semble que le problème est que l'onglet dcat ne marche pas pour la collection, mais bien pour les produits individuels.

christophenoel commented 1 year ago

L'URL de référence a le même comportement: https://sextant.ifremer.fr/geonetwork/api/collections/main/items

fxprunayre commented 1 year ago

En local, j'ai une erreur sur le mapping pour les service (sur le endpointUrl) mais avec http://localhost:9901/collections/main/items?q=-resourceType%3Aservice&f=dcat&limit=800 je récupère tous les datasets et en test également https://metawal4.test.wallonie.be/geonetwork/api/collections/main/items?q=-resourceType:service&f=dcat

fxprunayre commented 1 year ago

@GeryNi tu peux cherry-picker https://github.com/geonetwork/geonetwork-microservices/pull/73 et générer un nouveau JAR pour OGC API Records ?

christophenoel commented 1 year ago

@fxprunayre : il a pris congé l'après-midi, il fera cela demain matin. MErci.

christophenoel commented 1 year ago

En local, j'ai une erreur sur le mapping pour les service (sur le endpointUrl) mais avec http://localhost:9901/collections/main/items?q=-resourceType%3Aservice&f=dcat&limit=800 je récupère tous les datasets et en test également https://metawal4.test.wallonie.be/geonetwork/api/collections/main/items?q=-resourceType:service&f=dcat

Que veux-tu dire exactement par "j'ai une erreur sur le mapping" ? Quel est le symptôme ?

L'URL https://metawal4.test.wallonie.be/geonetwork/api/collections/main/items?q=-resourceType:service&f=dcat renvoie bien un RDF avec la liste des datasets donc quel est le problème ?

Merci :)

vbombaerts commented 1 year ago

on vient de déployer un correctif ;-)

christophenoel commented 1 year ago

A ma connaissance qui ne fonctionne pas ? :)

J'essaie de clarifier un peu le problème réellement concerné car François parle ci-dessus d'erreur sur la recherche des services (https://metawal4.test.wallonie.be/geonetwork/api/collections/main/items?q=-resourceType:service&f=dcat ) alors que le problème d'erreur 406 à corriger concerne l'affichage d'un service (https://metawal4.test.wallonie.be/geonetwork/api/collections/main/items/a4347f26-bd68-4f99-a047-d6decf519731?f=dcat ).

GeryNi commented 1 year ago

J’ai redéployé le service OGC Api Records sur l’environnement de test (avec le correctif mentionné par François https://github.com/geonetwork/geonetwork-microservices/pull/73 )

Le problème concernant les métadonnées de service au format DCAT (URL multilingue) a été résolu par le correctif de François.

Voici un lien utilisé pour tester le correctif : https://metawal4.test.wallonie.be/geonetwork/api/collections/main/items/918d6704-fcfc-45d8-afe5-3278150de0ff?f=dcat

fxprunayre commented 1 year ago

Je confirme aussi qu'on peut faire un dump au format DCAT de l'ensemble du catalogue de test (en un appel HTTP).

vbombaerts commented 1 year ago

Je confirme aussi qu'on peut faire un dump au format DCAT de l'ensemble du catalogue de test (en un appel HTTP).

Avec quel appel ?

vbombaerts commented 1 year ago

Correctif déployé en valid. On peut télécharger le DCAT au niveau des fiches individuelles de donnée, service et série On peut télécharger le DCAT au niveau du search du catalogue. Par contre, on ne récupère que les 10 premières fiches. Je n'ai pas encore trouvé comment on fait le dump de tout le catalogue ou comment on récupère les fiches au delà de 10 premières. (idem test)

fxprunayre commented 1 year ago

pas encore trouvé comment on fait le dump de tout le catalogue ou comment on récupère les fiches au delà de 10 premières.

Cf. http://docs.ogc.org/DRAFTS/20-004.html#core-query-parameters-limit

christophenoel commented 1 year ago

Ce n'est pas https://metawal4.test.wallonie.be/geonetwork/api/collections/main/items?q=-resourceType:service&f=dcat&limit=800 ?

vbombaerts commented 1 year ago

Le service est déployé en prod et fonctionnel.

J'ai eu des erreurs pour browser des items des collection dont les points d'accès incluent des " dans la définition. Ex : https://metawal.wallonie.be/geonetwork/api/collections/opendata/items/6997776d-8b95-4dc7-9b66-a5d9c4050ea8

idem sur :

En remplaçant " par ( et ) on arrive à contourner le problème Donc +tag.default:"Open Data" --> +tag.default:(Open Data)