Conexiones bus-alfresco

tgaya-dgtic commented 1 year ago

El diagrama es el siguiente, donde cada corchete representa una máquina: [balanceador bus - wso2] - [balanceador alfresco] - [nodos alfresco]

Hay que concretar bien la configuración del balanceador bus y del wso2, para un mejor rendimiento del sistema.

Actualmente en DES (con 1 nodo alfresco) prácticamente tiene el mismo rendimiento que en SE (con 2 nodos alfresco), lo cual es muy extraño. Además, cuando el bus se satura, porque haya muchas peticiones, tarda mucho tiempo en volverse a estabilizar, lo más rápido es reiniciar la máquina. Habría que limitar el número de conexiones abiertas en esta máquina y cerrarlas lo más pronto posible.

CarlosDiez-inetum commented 1 year ago

Al hacer pruebas de carga contra el ACS (pasando por el balanceador Apache), el rendimiento entre el DEV y PRE se iguala. Sin embargo, hay que ver por qué colapsa el bus y no hay cierre de conexiones. Revisar la configuración de WSO2 porque si se reinicia el bus vuelve a funcionar. Se queda sin memoria la máquina del bus

tgaya-dgtic commented 1 year ago

Hoy os he pasado las pruebas de rendimiento en jmeter, y también volvéis a tener acceso a la máquina del bus del entorno DES.

A ver si encontráis la forma de monitorizar el bus (conexiones abiertas, colas, etc), para ver si se puede afinar el rendimiento. Me preocupa que, según las pruebas que os he pasado, el bus baje tanto el rendimiento respecto a las peticiones directas SOAP.

tgaya-dgtic commented 1 year ago

Fijaos en que cada prueba del jmeter hay un checkbox "use keep-alive". Si está habilitado, parece que después de varias pruebas GDIB se queda sin threadPool.

AntonioSegura-inetum commented 1 year ago

Buenas,

Llego a la máquina del ESB de desarrollo, pero las credenciales anteriores no funcionan. ¿Nos podéis pasar las nuevas?

Un saludo,

Inetum

Antonio Segura Jiménez

WSO2 Enterprise Integrator & Identity Server Developer

Av. de las Erillas, s/n

41920 San Juan de Aznalfarache, Sevilla

inetum.com/eshttps://gfi.world/fr-en/?keyWord=contact

Facebook / Twitterhttps://twitter.com/inetum_world / LinkedInhttps://www.linkedin.com/company/inetum / Instagramhttps://www.instagram.com/inetum_world/ / YouTube https://www.youtube.com/channel/UCuIIEM1MyZ_K6IZg2E2KYtA

[Imagen que contiene Interfaz de usuario gráfica Descripción generada automáticamente]https://www.inetum.com/

Piensa en verde, consérvalo en tu pantalla. Este mensaje y sus archivos adjuntos están destinados únicamente a los destinatarios previstos y son confidenciales. Si recibe este mensaje por error, elimínelo, así como las posibles copias en sus sistemas, y notifique inmediatamente al remitente. Se prohíbe cualquier vista no autorizada, uso que no cumpla con su finalidad, difusión o divulgación, ya sea total o parcial.

De: ToniG @.> Enviado: lunes, 8 de mayo de 2023 19:44 Para: GovernIB/gdib @.> Cc: Segura-Jimenez Antonio @.>; Assign @.> Asunto: Re: [GovernIB/gdib] Conexiones bus-alfresco (Issue #117)

Hoy os he pasado las pruebas de rendimiento en jmeter, y también volvéis a tener acceso a la máquina del bus del entorno DES.

A ver si encontráis la forma de monitorizar el bus (conexiones abiertas, colas, etc), para ver si se puede afinar el rendimiento. Me preocupa que, según las pruebas que os he pasado, el bus baje tanto el rendimiento respecto a las peticiones directas SOAP.

— Reply to this email directly, view it on GitHubhttps://github.com/GovernIB/gdib/issues/117#issuecomment-1538779687, or unsubscribehttps://github.com/notifications/unsubscribe-auth/A55AKQIRMMA4XDUNRINQIULXFEWGJANCNFSM6AAAAAAXVOJ3G4. You are receiving this because you were assigned.Message ID: @.***>

tgaya-dgtic commented 1 year ago

La máquina se había quedado pillada, por unas pruebas que he realizado esta mañana para la gente de Alfresco (con el keep-alive desactivado en el jmeter).

sudo reboot -bash: fork: retry: Resource temporarily unavailable -bash: fork: retry: Resource temporarily unavailable -bash: fork: retry: Resource temporarily unavailable -bash: fork: retry: Resource temporarily unavailable -bash: fork: Resource temporarily unavailable

Cerrando la conexión del winscp, y volviendo a ejecutar el comando, ha funcionado el reinicio. Ya deberíais poder entrar.

AntonioSegura-inetum commented 1 year ago

Buenas,

Estoy viendo con un compañero especializado en temas de implantación y configuración de WSO2 las configuraciones. Necesitamos saber los siguientes puntos en PRO:

CPU de la máquina
RAM
Los procesos activos que tiene la máquina y los recursos que tienen asignados.
Cantidad de servicios desplegados en el ESB (en desarrollo pone 80 API/Proxies)
Toda la información posible sobre la RED y el sistema operativo (fichero /etc/sysctl.conf)
Que nos paséis el fichero: /etc/security/limits.conf
El fichero /bin/integrator.sh

Un saludo,

tgaya-dgtic commented 1 year ago

En principio la configuración de PRO es la misma que DES (máquina a la que tenéis acceso por consola web y ssh). La máquina de PRO tiene 12 GB de memoria RAM. No sé cómo me pedís el integrator.sh, cuando en las reuniones hemos dicho varias veces que el producto es el wso2 ESB 4.9.0. Habéis revisado la configuración (carpeta conf) de DES y de PRO que os envié por email día 3 de mayo?

AntonioSegura-inetum commented 1 year ago

Buenas,

El fichero integrator.sh sería el wso2server.sh en vuestra versión. Pasadnos ese y los otros que aparecen en el listado por favor.

Sí hemos revisado la configuración y no vemos nada fuera de lo normal por lo que tengáis esa saturación, así que el compañero me ha pedido todos estos datos para valorarlo de forma conjuntas. Cuando se hayan valorado todos los ficheros, es probable que haya que ir haciendo pruebas en algún entorno, saturándolo e ir cambiando valores en los ficheros de configuración para comprobar si se va mejorando el rendimiento

tgaya-dgtic commented 1 year ago

Pediré a Sistemas que me pasen los ficheros.

Pero para hacer las pruebas, ya os pasé una configuración para el jmeter y tenéis acceso al bus de DES. Y como ya observásteis ayer que no podíais acceder, se satura igualmente.

AntonioSegura-inetum commented 1 year ago

De acuerdo gracias, quedamos a la espera de los ficheros.

¿Nos puedes pasar las credenciales de la máquina? Me pasaste una por correo, pero eran del portal web y las que tengo de la máquina anterior me da error de credenciales

tgaya-dgtic commented 1 year ago

Pasadas credenciales por email.

AntonioSegura-inetum commented 1 year ago

Buenas,

Seguimos pendientes de conocer los siguientes datos de PRO:

CPU de la máquina
RAM -> Ya lo sabemos 12 GB
Los procesos activos que tiene la máquina y los recursos que tienen asignados.
Cantidad de servicios desplegados en el ESB (en desarrollo pone 80 API/Proxies)
Toda la información posible sobre la RED y el sistema operativo (fichero /etc/sysctl.conf)
Que nos paséis el fichero: /etc/security/limits.conf
El fichero /bin/integrator.sh
Que nos den la salida del comando -> ulimit -a

Por favor movedlos cuanto antes para poder avanzar. Gracias

AntonioSegura-inetum commented 1 year ago

Más estos comandos:

free -g o free -h
sysctl net.ipv4.tcp_fin_timeout net.ipv4.tcp_tw_recycle net.ipv4.tcp_tw_reuse net.core.rmem_default net.core.wmem_default net.core.rmem_max net.core.wmem_max net.ipv4.tcp_rmem net.ipv4.tcp_wmem net.ipv4.ip_local_port_range fs.file-max
df -h
uname -a
lscpu
ulimit -a

tgaya-dgtic commented 1 year ago

Ya tenéis por email varios ficheros que habíais solicitado. He añadido a la incidencia interna que me pasen también lo nuevo.

Aún así, tenéis acceso al Bus de DES y el otro día también cascó. Tenéis la configuración del jmeter. Y podéis ir probando las configuraciones. También podéis añadir un documento que explique qué ficheros de configuración con qué parámetros aplican en DES y las mejoras propuestas.

AntonioSegura-inetum commented 1 year ago

Genial gracias. Pensé que lo necesitabais solo para PRO por eso queríamos esos ficheros, pero miraremos y comenzaremos entonces por arreglar el entorno de Desarrollo para evitar esas caídas. Y luego los cambios los iremos subiendo a los siguientes entornos cuando los tengamos optimizados y probados.

AntonioSegura-inetum commented 1 year ago

Buenos días,

Tras solucionarse el problema de que estaba caído el Apache del entorno de DES pudimos hacer pruebas con respuestas del backend.

Os dejo un resumen de los cambios del compañero nuestro de sistemas en el entorno de desarrollo:

Ajuste de la memoria RAM a 2GB para el proceso del ESB y 2GB para el sistema operativo. Hay que dejar al menos 2 GB al sistema operativo.
Ajuste en los ficheros de configuración del ESB passthru-http.properties y nhttp.properties (ver parámetros en página 4 PDF adjunto al final).

Para ver más detalle sobre los parámetros cambiados y su descripción podéis acceder a este enlace:

https://docs.wso2.com/display/ESB490/Tuning+the+HTTP+Transport

Otro comentario del compañero es: "Hay que definir explícitamente los cores que tiene el nodo y bajar los worker para que el nodo haga un corte de llamadas de un minuto, así se mantiene estable."

Cualquier duda que tengáis acerca de las pruebas o los parámetros modificados, nos lo podéis preguntar por aquí o en la reunión que tenemos el lunes.

inetum-informe-CAIB-estabilidad-nodo.pdf

AntonioSegura-inetum commented 1 year ago

Nos gustaría recalcar también que estos valores puestos en los parámetros son exclusivos para el entorno de desarrollo ya que los recursos entre entornos son distintos. Por tanto, para ajustar de forma adecuada los valores de los parámetros en el entorno de producción habría que ir haciendo pruebas e irlos modificando para ver el rendimiento que produce con los valores nuevos.

Un saludo

tgaya-dgtic commented 1 year ago

Tenéis los ficheros de configuración de PRO. Proponed los nuevos valores.

tgaya-dgtic commented 1 year ago

Olvidad mi comentario anterior.

He revisado el documento, y me gustaría que añadiérais los valores que había antes, qué valores cambiáis, qué intentáis conseguir, y un apartado final con las supuestas mejoras conseguidas.

AntonioSegura-inetum commented 1 year ago

Buenas,

Perfecto, estamos trabajando en añadir al documento los cambios que indicas.

Resumen Reunión: Tras la reunión que hemos tenido hoy 22/05/23 hemos quedado en repetir las pruebas de rendimiento al WSO2, pero sin pasar por el apache. Con lo cual hemos acordado abrir el puerto 8280 tanto en vuestra lado como en el nuestro de la VPN para hacer dichas pruebas.

tgaya-dgtic commented 1 year ago

Ayer a mediodía ya os avisé que tenéis ese puerto abierto en nuestra parte de la VPN.

Ahora estáis pendientes de vuestra empresa para que también lo abra.

AntonioSegura-inetum commented 1 year ago

Buenos días,

Adjunto el nuevo documento que me ha pasado el compañero.

inetum-informe-CAIB-estabilidad-ESB.pdf

Un saludo

GovernIB / gdib

Conexiones bus-alfresco #117