Erreur ES / Kibana

[vbombaerts]

Qd j'essaie d'accéder à Kibana, j'ai une erreur https://metawal.wallonie.be/geonetwork/dashboards/app/discover#/?_g=(filters:!(),refreshInterval:(pause:!t,value:0),time:(from:now-15y,to:now))&_a=(columns:!(),filters:!(),index:gn-records,interval:auto,query:(language:kuery,query:''),sort:!(!(dateStamp,desc)))

[fxprunayre]

Vérifier l'espace disque dispo pour Elasticsearch a priori. Cf https://github.com/geonetwork/core-geonetwork/tree/main/es#disk-space-threshold Ca doit également poser des problèmes côté metawal eg. les fiches ne sont plus indexées car l'index est passé en lecture seule.

[vbombaerts]

message d'erreur metawal-temp

[fxprunayre]

On a aussi l'info https://metawal.wallonie.be/geonetwork/srv/fre/admin.console#/dashboard

[fxprunayre]

Vérifier installation Kibana sur metawal-temp

[vbombaerts]

Kibana toujours inaccessible en prod-temp

[GeryNi]

Lié à la requête HTTP de metawal qui ne trouve pas réponse:

@Francois, sais tu s'il nous manquerait un paramètre à configurer ? je n'ai rien trouvé depuis l'interface d'admin de Géonetwork. Serait-ce la configuration du proxy ?

[fxprunayre]

cf. https://github.com/geonetwork/docker-geonetwork/blob/main/4.4.5/docker-compose.yml#L31

[vbombaerts]

Kibana fonctionne maintenant en prod-temp. Par contre on n'y retrouve aucun des éléments présents normalement en prod : discovers, élements de visualisation, dashboards...

[vbombaerts]

Les versions et config sont-elles bien les mêmes sur test, valid et prod-temp ?

[vbombaerts]

Les éléments semblent avoir été réimportés correctement, mais j'ai parfois des erreurs qui indiquent des recherches non affichables car trop grandes. J'ai pas le problème en prod.

Exemple : https://metawal-temp.wallonie.be/geonetwork/dashboards/app/discover#/view/99d0ef60-c474-11ec-9c43-0f70b8f525db?_g=(filters:!(),refreshInterval:(pause:!t,value:60000),time:(from:now-1y,to:now))&_a=(columns:!(_id,mw-gp-localIdentifier,resourceTitleObject.default,resourceType,custodianOrgForResource_tree,custodianOrgForResource,mw-gp-constraintsObject.link,cl_status.key,ownerOrgForResource),filters:!(('$state':(store:appState),meta:(alias:!n,disabled:!t,index:gn-records,key:custodianOrgForResource_tree,negate:!f,params:(query:'SPW%20-%20Agriculture,%20Ressources%20naturelles%20et%20Environnement'),type:phrase),query:(match_phrase:(custodianOrgForResource_tree:'SPW%20-%20Agriculture,%20Ressources%20naturelles%20et%20Environnement'))),('$state':(store:appState),meta:(alias:!n,disabled:!f,index:gn-records,key:resourceType,negate:!t,params:(query:application),type:phrase),query:(match_phrase:(resourceType:application)))),grid:(),hideChart:!f,index:gn-records,interval:auto,query:(language:kuery,query:''),sort:!(!(dateStamp,desc),!(mw-gp-localIdentifier,asc)))

et en prod : https://metawal.wallonie.be/geonetwork/dashboards/app/discover#/view/99d0ef60-c474-11ec-9c43-0f70b8f525db?_g=(filters:!(),refreshInterval:(pause:!t,value:0),time:(from:now-1y,to:now))&_a=(columns:!(_id,mw-gp-localIdentifier,resourceTitleObject.default,resourceType,custodianOrgForResource_tree,custodianOrgForResource,mw-gp-constraintsObject.link,cl_status.key,ownerOrgForResource),filters:!(('$state':(store:appState),meta:(alias:!n,disabled:!t,index:gn-records,key:custodianOrgForResource_tree,negate:!f,params:(query:'SPW%20-%20Agriculture,%20Ressources%20naturelles%20et%20Environnement'),type:phrase),query:(match_phrase:(custodianOrgForResource_tree:'SPW%20-%20Agriculture,%20Ressources%20naturelles%20et%20Environnement'))),('$state':(store:appState),meta:(alias:!n,disabled:!f,index:gn-records,key:resourceType,negate:!t,params:(query:application),type:phrase),query:(match_phrase:(resourceType:application)))),grid:(),hideChart:!f,index:gn-records,interval:auto,query:(language:kuery,query:''),sort:!(!(dateStamp,desc),!(mw-gp-localIdentifier,asc)))

[vbombaerts]

On n'a pas le même nombre de champs dans l'index des deux côtés, mais c'est peut-être normal...

prod : https://metawal.wallonie.be/geonetwork/dashboards/app/management/kibana/indexPatterns/patterns/gn-records#/?_a=(tab:indexedFields)

prod-temp : https://metawal-temp.wallonie.be/geonetwork/dashboards/app/management/kibana/dataViews/dataView/gn-records#/?_a=(tab:indexedFields)

[fxprunayre]

On n'a pas le même nombre de champs dans l'index des deux côtés, mais c'est peut-être normal...

Oui, il y a quelques champs en plus dans l'index eg. maintenance https://github.com/geonetwork/core-geonetwork/pulls?q=is%3Apr+label%3A%22index+structure+change%22+is%3Aclosed et la possibilité de faire des aggrégations sur des fiches associées https://github.com/geonetwork/core-geonetwork/pull/7939

[vbombaerts]

Et certains en moins aussi ?

[fxprunayre]

Et certains en moins aussi ?

Normalement non.

[vbombaerts]

on passe de 2816 en prod à 2697 en prod-temp... (voir capture d'écran)

[fxprunayre]

on passe de 2816 en prod à 2697 en prod-temp... (voir capture d'écran)

Après comparaison rapide des 2, les grands différences sont:

#1 New field / Field non case sensitive sorting 
 {
      "name": "MD_ConstraintsUseLimitationObject.default.sort",

#2 New field / New languages
      "name": "MD_ConstraintsUseLimitationObject.langdan",

#3 Removed field / Undeclared language
      "name": "cl_accessConstraints.lang",
      "name": "cl_spatialRepresentationType.lang",

#4 Removed field / Due to type change - conformité est de type keyword (donc on divise par 2 le nombre de champ conformsTo_ - Ca représente ~120 champs de moins)

 {
      "name": "conformTo_INSPIREDataSpecificationonAddresses-Guidelinesv3-1-0",
      "type": "string",
      "esTypes": [
        "text"
      ],
      "searchable": true,
      "aggregatable": false,
      "readFromDocValues": false,
      "metadata_field": false
    },

#5 Removed field / Des thésaurus qui ne sont plus utilisés en test?
      "name": "th_AGROVOC.text",
      "name": "th_HVDLegal.text",
      "name": "th_MobilityTheme.langeng",
      "name": "th_httpinspireeceuropaeufeatureconcept-featureconcept.langger",
      "name": "th_themes_ODWB.lang",

Donc la différence s'explique essentiellement par le point 4.

[vbombaerts]

merci pour l'explication