Open sgelabert-dgtic opened 7 years ago
Buenas, revisando los logs hemos visto los siguientes.
Total de errores: 64.754 (logsaa) + 72.025 (logsab) + 77.921 (logsac) + 77.769(logsad) + 39.616(logsae)
Primer error a las 14:17, se queja por espacio en disco. Pero tiene pinta que no en el servidor de Gusite sino en remoto (Rolsac)
Caused by: java.rmi.AccessException: SecurityException; nested exception is: javax.security.auth.login.LoginException: java.rmi.ServerException: EJBException:; nested exception is: javax.ejb.EJBException: null; CausedByException is: /app/jboss-3.2.8caib17/server/jboss01/work/seyconSession/14906170555411068941932 (No queda espacio en el dispositivo)
A partir de las 14:31 api RolsacWS no está operativo
Caused by: (404)/sacws-api/services/RolsacWS
Parece que sólo hay 82 errores en el fichero logsaa. De esos errores, algunos (7 parece ser) se produce parece que el tipo de problema se produce por el contenido del documento:
[Message] (DefaultQuartzScheduler_Worker-9) Error intentando indexar idElemento:22089 categoria:CON idArchivo:224034 es.caib.solr.api.exception.ExcepcionNoControlado: org.apache.solr.client.solrj.impl.HttpSolrClient$RemoteSolrException: Error from server at https://webcaib_update:webcaib_update@intranet.caib.es/solr/webcaib: Expected mime type application/octet-stream but got text/html https://webcaib_update:webcaib_update@intranet.caib.es/solr/webcaib:%20Expected%20mime%20type%20application/octet-stream%20but%20got%20text/html .
Mientras que otros 75 se producen con un problema de URI Too Large, parece que debido a los parámetros que se envían por GET sobrepasan el límite máximo del JETTY.
Error intentando indexar idElemento:86 categoria:CON idArchivo:58078
<html><head>
<title414 Request-URI Too Large</title
</head><body>
<h1>Request-URI Too Large</h1>
<p>The requested URL's length exceeds the capacity
limit for this server.<br />
</p>
</body></html>
Lo más recomendable sería poder replicar los problemas en nuestros entornos (y así poder evaluar la posibilidad bien de aumentar el máximo o de alterar el sorlapi para ver si es posible pasar todo por POST). Para poder extraer el microsite que tienen los ficheros, se puede realizar la siguiente consulta.
select *
from gus_micros
where mic_codi in (select dcm_miccod from gus_docus where dcm_codi IN (58078, 224034));
Luego, utilizando el MIC_CODI, se puede extraer utilizar la siguiente URL (cambiandolo por la ruta correcta para acceder directamente al microsite y poder realizar una exportación):
http://caibter.indra.es/sacmicroback/index.do?idsite=MIC_COI
Parece haber algo raro en las llamadas que fallan los parámetros de idmicrosite:
No s' ha trobat el microsite amb id M1311080927131622725342v1/imgs/mollapa/flecha.gif No s' ha trobat el microsite amb id m10050410524913563635 …
En total están esta cantidad de errores: 3123 (logsaa) + 3 (logsab) + 3 (logsac) + 4(logsad) + 1695(logsae)
Para poder tener claro el problema deberíamos de poder acceder a los logs de apache para ver las peticiones que se están realizando.
De momento, con la información evaluada, no se debería de ocultar la impresión del stacktrace en ninguno de los 3 casos. Cuando tengamos más información respecto al segundo punto, podremos ver si se puede pero en un primer momento, no recomendamos quitar la impresión por el stacktrace.
Ok, a banda del conteig d'errors necessitem posar-hi solució... Començam cas per cas i m'aneu demanant el que necessiteu? (logs apache, solr, jboss) Gràcies.
Lo revisamos.
Buenas,
Respecto a este error, se vio que era un error puntual producido por la falta de espacio en rolsac que no permitía generar más sesiones. Por tanto, no se puede hacer nada.
Respecto a estos errores:
select *
from gus_micros
where mic_codi in (select dcm_miccod from gus_docus where dcm_codi IN (58078, 224034));
Luego, utilizando el MIC_CODI, se puede extraer utilizar la siguiente URL (cambiandolo por la ruta correcta para acceder directamente al microsite y poder realizar una exportación):
http://caibter.indra.es/sacmicroback/index.do?idsite=MIC_COI
Respecto a este error, pasarnos también el microsite M1311080927131622725342 para analizar mejor el problema.
2017-04-24 00:02:44,761 ERROR [es.caib.gusite.plugins.rolsac.RolsacOrganigramaProvider] (http-10.215.5.28-28080-26) Error obteniendo unidad administrativa.
Adjunt resultat de les consultes sol·licitades pel cas 2:
select * from gusite.gus_docus where dcm_codi=224034;
export_gus_docus_224034.xlsx
select *
from gusite.gus_micros
where mic_codi in (select dcm_miccod from gusite.gus_docus where dcm_codi IN (58078, 224034));
Heu pogut avançar amb aquest tema ?
Buenas, os comentamos varias cosas que se pueden ir solucionando, os marcamos en negro la solución al problema.
Se ha visto varios errores producidos porque se busca este fichero en varios microsites. Sería recomendable modificar tanto el frontal viejo como el nuevo para contemple la posibilidad de devolver un fichero txt (de momento, podríamos hacerlo fijo y el mismo para todos los microsites y en un futuro ver la posibilidad de hacerlo dinámico si se desease) para que al menos no se generase este problema. ¿Os parece bien toquemos ambos frontales para que respondan el robots.txt?
Hemos observado varios errores, principalmente producidos por microsites que tienen un css propio y sus imágenes tienen rutas incorrectas. El funcionamiento para solucionarlo (nosotros no podemos porque no tenemos acceso a sacmicroback en producción) es sencillo, tendréis que entrar a recursos compartidos del microsite, buscar el css, descargarlo y actualizar las rutas de las imágenes para que apunten a rutas correctas.
Por ejemplo, http://procesoselectorales.caib.es (microsite --> M1311080927131622725342) produce siempre un error al entrar porque en la mollaPa se añade una imagen con un ruta incorrecto. El encargado es un css propio del microsite ( http://procesoselectorales.caib.es/sacmicrofront/archivopub.do?ctrl=MCRST5246ZI165194&id=165194 ) que carga la siguiente propiedad:
background: url(../v1/imgs/mollapa/flecha.gif) right center no-repeat rgb(255, 255, 255);
Esta propiedad es incorrecta, se debería bien poner:
background: url(./v1/imgs/mollapa/flecha.gif) right center no-repeat rgb(255, 255, 255);
o para evitar problemas, sabiendo que pertenece al frontal viejo, poner siempre /sacmicrofront/ cuando sea frontal viejo o /front/ cuando sea el nuevo:
background: url(/sacmicrofront/v1/imgs/mollapa/flecha.gif) right center no-repeat rgb(255, 255, 255);
Si no se toca el css, apunta incorrectamente la url a http://procesoselectorales.caib.es/imgs/listados/menu_on.gif que se reescriba a http://procesoselectorales.caib.es/sacmicrofront/index.do?lang=es&mkey=M1311080927131622725342imgs/listados/menu_on.gif (que es el error que se ve en los logs y que ha costado replicarlo)
Microsites afectados:
El microsite N96 -- http://www.caib.es/sacmicrofront/index.do?lang=ca&mkey=M96, produce un error porque en el jsp de cabecera.jsp, realiza un <img src="/root/imgs/capsal/ico_cercador.gif" alt="
Este error es un poco complejo. Los siguientes microsites, no existen, pero por alguna razón si los buscas en google, salen como indexados y con información pero dan error (para encontrarlos en google, realizo las siguentes búsqueda de ejemplo 'site:www.caib.es M89' o 'M89'). Algunos de los microsites afectados:
¿Podéis comprobar si estos microsites están activos o si han cambiado la URI?
Este un poco más complejo, el error es grave pero en los logs se ha visto que todos los errores producidos en RolsacOrganigramaProvider se debían a un problema de espacio (que no se puede controlar, y producidos por seycon, y que, en todo caso, tendría que ser revisado por los técnicos de sistemas). Puede que el problema de espacio se deba a otro problema más complejo que genera archivos demasiados grandes. Este es el error que comentaba arriba que lo ignoramos porque era un error puntual. Te copio el error y donde se indica el problema:
[Message] Error obteniendo unidad administrativa.
es.caib.rolsac.api.v2.exception.QueryServiceException: Error obteniendo unidad administrativa.
at es.caib.rolsac.api.v2.rolsac.RolsacQueryServiceAdapter.obtenirUnitatAdministrativa(RolsacQueryServiceAdapter.java:784)
at es.caib.gusite.plugins.rolsac.RolsacOrganigramaProvider.getUnidadData(RolsacOrganigramaProvider.java:179)
at es.caib.gusite.front.general.BaseViewController.getBasePath(BaseViewController.java:632)
... 56 more
Caused by: java.rmi.AccessException: SecurityException; nested exception is:
javax.security.auth.login.LoginException: java.rmi.ServerException: EJBException:; nested exception is:
javax.ejb.EJBException: null; CausedByException is:
/app/jboss-3.2.8caib17/server/jboss01/work/seyconSession/149061743706672451717 (No queda espacio en el dispositivo)
Respecto a solr, más tarde escribimos más sobre dichos problemas, seguramente necesitemos alguno de los ficheros para replicar el problema.
Sota quin context cerca robots.txt ? Vols dir que hi ha accessos a www.caib.es/sacmicrofront/robots.txt i www.caib.es/sites/robots.txt ? El fitxer existeix a www.caib.es/robots.txt, que teòricament és on hauria d'estar.
Ok revisam noltros els microsites que ens passes amb CSS personalitzada.
OK, veig que ho està cercant a /root/imgs/capsal/ico_cercador.gif cal afegir icona dins el projecte disponible per als dos frontals.
Llançaré consulta a BBDD per sabre si per mkey existeix alguna referència al microsites que ens indiques. Probablement els microsites ja no existeixen, però els crawlers de Google segueixen accedient perquè la pàgina d'error retorna un http-200. Veure tiquet https://github.com/GovernIB/gusite/issues/81#issuecomment-295662780
Com et comentava a https://github.com/GovernIB/gusite/issues/80#issuecomment-297684632 no és un error d'espai puntual si no que es reproduix a diari. En qualsevol cas , sol·licitaré els logs de nou i revisam si es produeix.
OK, digau-me si necessitau més informació.
Envii per correu logs de dia 23/05/2017 i 24/05/2017. En el log d'avui apareixen fins al moment 220 errors per "Error obteniendo unidad administrativa."
ROBOTS.TXT
Buenas, en los logs que nos pasaste hace tiempo vemos varios patrones:
Intentado reproducir el error se observa que se produce siempre que la URL formada no es correcta y entra por el LegacyController suponiendo que el robots.txt forma para de la URI. Por ejemplo, existe un error en el log (logsaa) como el siguiente:
[Message] No s' ha trobat el microsite amb id M1412231221551527629212robots.txt Stack = es.caib.gusite.microfront.base.Bdbase (prepararidsite >> linea:273)
es.caib.gusite.microfront.base.Bdbase (<init> >> linea:121)
es.caib.gusite.microfront.home.util.Bdhome (<init> >> linea:62)
es.caib.gusite.microfront.home.actions.HomeAction (crearMicrositeHome >> linea:121)
es.caib.gusite.microfront.home.actions.HomeAction (execute >> linea:56)
org.apache.struts.action.RequestProcessor (processActionPerform >> linea:484)
(mas) ...
[Emitter] es.caib.gusite.microfront.BaseAction
Ese uri pertenece a la web ( infojove.caib.es ) por lo que se puede intuir que google busca si existe el robots.txt en la siguiente ruta:
http://infojove.caib.es/robots.txt
La cuál se produce una redirección construyendo la siguiente url:
http://infojove.caib.es/sacmicrofront/index.do?lang=ca&mkey=M1412231221551527629212robots.txt
Por eso, hay que ver la posibilidad de incluir una redirección que controle si hay una llamada a robots.txt y controlarla devolviendo un fichero txt por defecto.
Sobre Solr habían dos errores:
es.caib.solr.api.exception.ExcepcionNoControlado: org.apache.solr.client.solrj.impl.HttpSolrClient$RemoteSolrException: Error from server at https://webcaib_update:webcaib_update@intranet.caib.es/solr/webcaib: Expected mime type application/octet-stream but got text/plain.
es.caib.solr.api.exception.ExcepcionNoControlado: org.apache.solr.client.solrj.impl.HttpSolrClient$RemoteSolrException: Error from server at https://webcaib_update:webcaib_update@intranet.caib.es/solr/webcaib: Expected mime type application/octet-stream but got text/html. <!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
414 Request-URI Too Large
Para el problema del mimetype, hemos intentado replicar el problema y no hemos sido capaces. Hemos realizado diversas pruebas introduciendo un mimetype erróneo o cambiando el contenido de un documento (por ejemplo, cambiar un pdf a un zip o doc) y no se produce ningún error. Hemos observado que, si se produce un error en solr, en vez de darlo por correcto, se devuelve un html con un mensaje de error, que explicaría el error.
Necesitaría realizar de nuevo una prueba de reindexación para obtener el log que se produce en GUSITE y en el log de SOLR para ver que petición les llega.
INSERT INTO GUS_SOLRPD(SLP_ID, SLP_TIPO, SLP_IDELEM, SLP_ACCION, SLP_FECCRE, SLP_FECIDX, SLP_RESULT, SLP_TXTERR, SLP_IDARCHIVO) VALUES (GUS_SEQSOLR.nextval, 'CON', 86, 1, SYSDATE, NULL, 0, '', 134798);
INSERT INTO GUS_SOLRPD(SLP_ID, SLP_TIPO, SLP_IDELEM, SLP_ACCION, SLP_FECCRE, SLP_FECIDX, SLP_RESULT, SLP_TXTERR, SLP_IDARCHIVO) VALUES (GUS_SEQSOLR.nextval, 'CON', 86, 1, SYSDATE, NULL, 0, '', 65267);
INSERT INTO GUS_SOLRPD(SLP_ID, SLP_TIPO, SLP_IDELEM, SLP_ACCION, SLP_FECCRE, SLP_FECIDX, SLP_RESULT, SLP_TXTERR, SLP_IDARCHIVO) VALUES (GUS_SEQSOLR.nextval, 'CON', 62307, 1, SYSDATE, NULL, 0, '', 161897);
INSERT INTO GUS_SOLRPD(SLP_ID, SLP_TIPO, SLP_IDELEM, SLP_ACCION, SLP_FECCRE, SLP_FECIDX, SLP_RESULT, SLP_TXTERR, SLP_IDARCHIVO) VALUES (GUS_SEQSOLR.nextval, 'CON', 62307, 1, SYSDATE, NULL, 0, '', 223391);
commit;
Además, el problema de URI too large, es probable que se produzca porque uno de los campos es demasiado largo, necesitaríamos ver cuál podría ser obteniendo la información tanto del gus_docus (nos vendría muy bien obtener el BLOB de algunos ficheros por si tenemos que replicar de nuevo el problema) como de algún atributo de los contenido asociados.
---Además de esta consulta sobre gus_docus, sería recomendable pasarnos el objeto BLOB de alguno de estos ficheros.
select *
from gus_docus
where dcm_codi in (161897, 192866, 161896, 161895, 201606, 201605, 161892, 223391, 65267, 134798);
select *
from gus_conten
where con_codi IN (62307, 86);
select *
from gus_conidi
where cid_concod IN (62307, 86);
Parece que muchos casos tiene que ver con las redirecciones definidas en el Apache, si se realizan peticiones sobre el dominio que no es "www.caib".
Por ejemplo:
Para infojove.caib.es se redirige en Apache a:
RedirectPermanent / http://infojove.caib.es/sacmicrofront/index.do?lang=ca&mkey=M1412231221551527629212
Si se realizan peticiones sobre la raíz monta mal las redirecciones: http://infojove.caib.es/robots.txt --> http://infojove.caib.es/sacmicrofront/index.do?lang=ca&mkey=M1412231221551527629212robots.txt
Este link existe en la página http://www.alcudiamallorca.com/es/alojamiento/campings-and-youth-hostels.html y no funciona bien por el mismo motivo: infojove.caib.es/campamentodelavictoria.htm --> http://infojove.caib.es/sacmicrofront/index.do?lang=ca&mkey=M1412231221551527629212campamentodelavictoria.htm
Otro caso similar por ejemplo pasa cuando en los css se referencian imágenes mediante rutas relativas:
Para padib.caib.es se redirige en Apache a:
RedirectPermanent / / http://padib.caib.es/sacmicrofront/home.do?mkey=M09040813461833313172&lang=ca
Si accedemos a: http://padib.caib.es/sacmicrofront/contenido.do?mkey=M09040813461833313172&lang=CA&cont=79970
Hace referencia en un css a una imagen de forma relativa: BACKGROUND: url(../../microsite_salut_ambiental/imgs/listados/menu_on.gif)
Que hace que la redirección en el Apache se haga: http://padib.caib.es/sacmicrofront/home.do?mkey=M09040813461833313172&lang=camicrosite_salut_ambiental/imgs/listados/menu_on.gif
Si se accede al contenido con dominio www.caib funciona bien (aunque la imagen realmente no existe): http://www.caib.es/sacmicrofront/contenido.do?mkey=M09040813461833313172&lang=CA&cont=79970
Por tanto habría que revisar si se puede definir un método alternativo para realizar las redirecciones. Para los archivos robots.txt se podría definir en el apache también una redirección para que vaya siempre a www.caib.es/robots.txt
Buenas, actualmente hemos visto que llevamos realizados 31 horas en el análisis y detección de los errores en el log de producción. Los problemas encontrados son diversos.
Te hago un resumen para ver el estado actual de cada uno de los problemas detectados:
OK, us coment aquí com va l'avanç de cada tema
Respecte als "Error amb id microsite", pensau que es deu al codi de resposta HTTP ? Ho envestim després d'haver validat el document d'estimació #81 o pensau que no està relacionat ?
Buenas, los problemas que producen un "error amb id microsite" son muy diversos, entre otros:
Ambas tareas son totalmente independientes. Además, tras realizar todos los cambios, se debería de evaluar de nuevo el nuevo log para revisar cualquier problema que hubiera sido totalmente ocultado por los errores ya analizados.
Buenas, para evaluar y realizar una estimación de los errores de SOLR, necesitamos la obtención de las siguientes consultas para saber si estamos bien orientados con el problema:
---Además de esta consulta sobre gus_docus, sería recomendable pasarnos el objeto BLOB de alguno de estos ficheros.
select *
from gus_docus
where dcm_codi in (161897, 192866, 161896, 161895, 201606, 201605, 161892, 223391, 65267, 134798);
select *
from gus_conten
where con_codi IN (62307, 86);
select *
from gus_conidi
where cid_concod IN (62307, 86);
Aquí teniu les dades sol·licitades: http://tn.caib.es/tMbuODsA
Adjunt log del servidor d'aplicacions de producció de dia 15/06/2016 http://tn.caib.es/ToECQoXA
Indicamos el análisis de errores realizado e indicamos las posibles acciones a realizar para revisar dichos errores. Ya nos indicáis cuales de estas acciones queréis que ejecutemos. (Anexamos un Excel con detalle de estos errores)
5.468 - [Configuracion microsite]: Se debe indicar algún microsite Se podrían ver el log de las peticiones del Apache para ver si existe algún patrón con las peticiones
211 - No s' ha trobat el microsite amb id xxxx (Ver excel) Algunos errores parecen venir por construirse mal las URLs. Habría que entrar al microsite y se podrían verificar donde se generan esos enlaces para buscar el origen del error.
229 - Contenido no encontrado (Ver excel) Hay una serie de contenido que no se encuentra, no se sabe si es un error en realidad (Ver excel)
10 - [Message] (http-10.215.5.28-28080-108) [obtenerContenido, idsite=451, cont=24189, idioma=ca ] Error=null Stack=es.caib.gusite.microfront.base.DelegateBase (obtenerContenido >> linea:106) (Ver excel) No encuentra contenido y no se controla generando un NullPointerException. Habría que gestionar la excepción correspondiente generando error de contenido no encontrado.
14 -QueryServiceException: Error obteniendo unidad administrativa (Ver excel)
Hay 2 tipos de errores: uno de conectividad y otro que parece deberse a URLs mal montadas.
Para las debidas a URLs mal montadas se podrían ver el log de las peticiones del Apache para ver si existe algún patrón con las peticiones.
67 - Solr: Request-URI Too Large No se ha podido replicar el error en entorno local. Se han indexado algunos ficheros que daban problemas en Producción y se han indexado correctamente. Por lo que hemos estado investigando parece un error debido a la longitud de la URL, no del fichero. Necesitaríamos el log de peticiones de Solr (request.log) para ver si se pueden ver esas peticiones de indexación.
32 - Solr: Error indexando NTC(ID:XXXXX):SolrPendienteResultado correcto:false mensaje:No se puede indexar En realidad no son errores. Hay que modificar para que no genere error.
ERROR: [Configuracion microsite]: Se debe indicar algún microsite / 211 - No s' ha trobat el microsite amb id xxxx
Se ha evaluado el log de apache y se detectan los siguientes casos:
Ante el caso 1 y 2 se puede mirar de implementar como se comenta que se haga una redirección de la URI antigua a la nueva. P.e.: https://www.caib.es/sites/M08082109010018816268/ca/que_es_illes_balears_segures-7001 --> https://www.caib.es/sites/112/ca/que_es_illes_balears_segures-7001/
Adicionalmente para el caso 2 se podría implementar una utilidad a nivel de microsite que detecte enlaces manuales que contengan URLs no válidas. Teniendo esta utilidad a nivel de microsite se podría tener una utilidad a un nivel superior para escanear todos los microsites (bien de forma manual o programada). Hay que tener en cuenta que si un microsite cambia varias veces de URI podría no valer la solución de la redirección.
Para el caso 3, habría que analizar los microsites que tienen URLs inválidas para detectar si es un error a nivel de introducción de la URL en el contenido o bien un error de Gusite (poco probable). Ya nos comentáis si evaluamos este caso. Los microsites a evaluar están en el Excel, donde se ven las URLs inválidas.
Seguimos mirando los otros tipos de error. En cuanto a las horas simplemente indicar que ya se llevan dedicadas 43 horas a esta tarea.
Respecto al error "No se encuentra microsite/Contenido no encontrado" proponemos realizar lo siguiente para realizar un redirect(301) a la nueva uri:
Si os parece bien la propuesta, ¿realizamos los cambios dentro de esta issue (llevamos 43 horas incurridas) o se crea una específica para el cambio?
Como se creó la tarea 94 la damos por finalizada.
En aquesta tasca es tractaven massa temes, si us pareix torn a sol·licitar els logs del servidor després del pas de la versió 1.4.2 i a partir dels errors anem obrint tiquets nou. De moment la deix oberta fins a tenir de nou els logs de producció
Sol·licit l'anàlisi del log de producció de GUSITE. En ell s'observen els següents errors recurrents:
En tots els casos s'ha de revisar l'origen de l'error per determinar la causa i avaluar si és útil la impressió de l'stacktrace (especialment en el cas 3)