Indexar continguts a SOLR i a ElasticSearch - Githubissues

GovernIB / rolsac

Gestor de continguts administratius

4 stars 1 forks source link

Indexar continguts a SOLR i a ElasticSearch #504

Open bgarcia-dgtic opened 1 year ago

bgarcia-dgtic commented 1 year ago

S'ha d'indexar els continguts tant a SOLR com a ElasticSearch

slromero-indra commented 1 year ago

Comiteado los cambios en la rama 1.12. Hay que tener en cuenta que hay que añadir unos parámetros extras para que intente indexar en solr y elastic:

        <!-- solr-->
                es.caib.rolsac.solr.activo=S

        <!-- elastic -->
        es.caib.rolsac.solr.activo=S
        es.caib.rolsac.elastic.url=http://sdeswebgoibray1:21080/api/v1/indexer/solr/
        es.caib.rolsac.elastic.user=
        es.caib.rolsac.elastic.pass=

slromero-indra commented 1 year ago

Actualizado rolsac para que se pueda especificar que categorías se deben indexar en elastic:

es.caib.rolsac.elastic.categoriasActivas=PRO,UNA,NOR,FCH,SER,TRA

Se especifica la categoría según sorlapi:

PRO --> Procedimientos
UNA --> UAs
NOR --> Normativas
FCH --> Fichas
SER --> Servicios
TRA --> Trámites

dmadronal-indra commented 1 year ago

buenas, hemos realizado los cambios en la librería y actualizado ROLSAC, (https://github.com/GovernIB/rolsac/commit/b0f6c2a819202f11226ce43e28439027b32b6f33) lo podéis validar?

episano-dgtic commented 1 year ago

He profundizando en la indexación de rolsac con elastic searc, y he detectado más casos que no debería remitirse a elastic: Los procedimientos con estado publico, pero estén caducados (PRO3956706 TRA 3956713), o sean de futura publicación (PRO 4040920, TRA 4040927). Los trámites de procedimientos publicados, aunque pertenezcan a po internos(PRO 3997269 TRA 3997276), futura publicación (PRO 4040920, TRA 4040927) Si se elimina un procedimiento, se desindexa el procedimiento, pero no el trámite tb. eliminado.. (TRA 3933560 era PRO 3933554)

Si queréis ver como en elastic se muestran dichos resultados he incluido la etiqueta FALLO https://dev.caib.es/webgoib/es/index-entry-search?q=FALLO&delta=60

episano-dgtic commented 1 year ago

Informar que hay fallos en la desindexación de trámites: Ex: caso de eliminación de un trámite de un procedimiento publicado, no se desindexa de elastic search. (TRA: 3993818 de PRO: 3993494) EX: caso desindexación de los trámites de un procedimiento público cambia a interno. (PRO: 4015313 TRA:4015325, y 4015330)

slromero-indra commented 1 year ago

Hemos actualizado rolsac para que:

Al desindexar en elastic, desindexa tanto el dato como si es raíz de otro elemento.
Había un bug para los trámites que no heredaban el valor de interno de procedimientos. Se ha actualizado para que los trámites, al indicar si es interno o no, miren el dato del procedimiento.

Por favor, cuando podáis lo validáis.

episano-dgtic commented 1 year ago

Ahora no llega a indexar los contenidos en elastic, ni a la primera ni en las sucesivas. El error que indica:

es.caib.solr.api.exception.ExcepcionElasticApi: {"id": "PRO3995352", "categoria": "PRO", "aplicacionId": "ROLSAC", "titulo_es": "", "titulo_ca": "procedimiento común 3995352. SIN TRADUCIR para ver que ocurre buscador. Convocatòria d'ajuts destinats a actuacions de foment de l'ús de la llengua catalana a les Illes Balears. volemmes2 22052023 .", "titulo_en": "", "descripcion_es": "", "descripcion_ca": "Convocatòria d'ajuts destinats a actuacions de foment de l'ús de la llengua catalana a les Illes Balears", "descripcion_en": "", "url_es": "", "url_ca": "/seucaib/ca/200/persones/tramites/tramite/3995352", "url_en": "", "idRaiz": "PRO3995352", "raizCategoria": "PRO", "padreId": "", "padreCategoria": "", "padreDescripcion_es": "", "padreDescripcion_ca": "", "padreDescripcion_en": "", "padreUrl_es": "", "padreUrl_ca": "", "padreUrl_en": "", "fechaActualizacion": "2023-05-22T12:28:31Z", "fechaPublicacion": "2022-04-26T15:17:00Z", "fechaCaducidad": "", "fechaPlazoIni": "2022-04-26T15:21:00Z", "fechaPlazoFin": "", "extension_es": "", "extension_ca": "", "extension_en": "", "pathUo": ["1"], "familiaId": "11", "materiaId": ["5553"], "publicoId": ["5553"], "telematico": true, "interno": false, "searchText_es": "", "searchText_ca": "procedimiento común 3995352. SIN TRADUCIR para ver que ocurre buscador. Convocatòria d'ajuts destinats a actuacions de foment de l'ús de la llengua catalana a les Illes Balears. volemmes2 22052023 . Convocatòria d'ajuts destinats a actuacions de foment de l'ús de la llengua catalana a les Illes Balears", "searchText_en": "", "searchTextOptional_es": "", "searchTextOptional_ca": "null null Prestacions socials Informació d'ajudes i accions socials que afecta a petits col·lectius, a persones de diversos col·lectius (no associats a edat o sexe) o serveis socials generals: incapacitats laborals, pensions no contributives, centres socials, menjadors socials,...Gent granServeis específics que estan orientats als nostres majors i que posen èmfasi en les seves preferències i necessitats: vacances socials, termalisme, centres d'oci i convivència, centres especialitzats d'atenció a majors, centres residencials, centres assistencials, ... Servei SocialIncapacitatBaixes LaboralPensionsMenjadors Govern de les Illes Balears Govern de les Illes Balears null Títol de la normativa ", "searchTextOptional_en": ""}@@@{"timestamp":"2023-05-22T10:57:57.040+00:00","status":500,"error":"Internal Server Error","path":"/indexer/solr/PRO3995352"} at es.caib.solr.api.impl.SolrIndexerImpl.indexarContenidoElastic(SolrIndexerImpl.java:400) at es.caib.solr.api.impl.SolrIndexerImpl.indexarContenido(SolrIndexerImpl.java:237) at org.ibit.rol.sac.persistence.ejb.ProcedimientoFacadeEJB.indexarSolr(ProcedimientoFacadeEJB.java:2949) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invo 4

En solar va bien,

episano-dgtic commented 1 year ago

En gusite adjunto el fichero de error de todo un microsite, que antes no daba errores indexación: problemas_elasticGUSITE2205_2.txt

dmadronal-indra commented 1 year ago

Buenas, Según comentamos este error era debido a problemas en el servidor de elastic, ¿hemos de revisar algo más?

episano-dgtic commented 1 year ago

Por el momento nop, estamos a la espera de hacer reindexación completa y comprobar no hay más problemas.

slromero-indra commented 1 year ago

Buenas, hemos realizado modificaciones en este commit para conectarse con elastic y autenticación. Para la autenticación, hay que rellenar las propiedades:

  es.caib.rolsac.elastic.user=
  es.caib.rolsac.elastic.pass=

Commit: https://github.com/GovernIB/rolsac/commit/6cd1c14634ad48595dee712d0493303e70c7562e