search

Pybonacci / pybonacci.github.io

Blog sobre Python científico en español
https://www.pybonacci.org
Other
9 stars 11 forks source link

Analíticas web #5

Open astrojuanlu opened 7 years ago

astrojuanlu commented 7 years ago

The code is already in place:

https://github.com/Pybonacci/pybonacci.github.io-source/blob/b805ea6/theme/templates/_includes/analytics.html#L1

In theory it would be sufficient to fill the PIWIK_SSL_URL variable in https://github.com/Pybonacci/pybonacci.github.io-source/blob/b805ea6/publishconf.py.

cc @kikocorreoso

astrojuanlu commented 6 years ago

¿A lo mejor hay alternativas aparte de Piwik? @pablogsal montó el otro día un dashboard con Grafana, igual nos puede hacer alguna recomendación.

pablogsal commented 6 years ago

@Juanlu001 Yo usaba Grafana + Prometheus. Si me comentáis un poco más el caso de uso que tenéis puedo haceros una mejor recomendación. Incluso puedo ponerlo en marcha por vosotros o enseñaros como hacerlo pues hay alguna parte algo delicada. 🎉

kikocorreoso commented 6 years ago

Piwik no va mal del todo.

Yo, lo que menos dolores de cabeza y menor mantenimiento tenga mejor.

Incluso un script python que parsee los logs me parece buena opción 😛

astrojuanlu commented 6 years ago

En realidad el sistema de visualización no me importa tanto en este momento. Me importa mucho más garantizar que vamos a guardar los logs desde el primer día y no perder nada. Con esto funcionando, podemos analizar esos datos como queramos a posteriori.

@kikocorreoso ¿Algo que se tenga que hacer en el servidor para que esto ocurra? No sé cómo funciona la rotación de logs de nginx o Apache, si se mantiene todo desde el inicio de los tiempos entonces podemos usar cualquier cosa.

@pablogsal ¡Gracias por la ayuda! Nuestra idea es tener un panel tipo Google Analytics o Piwik en el que visualizar el tráfico, países de origen... Toda la información que nos den los logs. Aunque como digo, si es muy complicado de configurar puede esperar.

manugarri commented 6 years ago

Piwik no lo conozco, segun veo es una version Open Source de Google Analytics, asi que con que dé una minima funcionalidad y no haya mucho coste de montar un dashboard por mi bien.

lo de logs no lo veo (nadie va a querer parsear logs, y los scripts que hagamos a manubrio van a necesitar modificaciones siempre que haya un nuevo edge case).

kikocorreoso commented 6 years ago

lo de logs no lo veo (nadie va a querer parsear logs, y los scripts que hagamos a manubrio van a necesitar modificaciones siempre que haya un nuevo edge case).

Ahí está toda la información. Nuestro uso no es especialmente sofisticado.

Me puedo apuntar la tarea de crear los scripts y hacer backup de los logs para que siempre estén disponibles. Se pueden commitear a un gitlab privado o algo así.

Piwik, después de probarlo un tiempo, está bien pero es un poco coñazo y cada dos días hay que actualizar con el miedo que da eso.

Estamos hablando de un blog estático no muy relevante.

astrojuanlu commented 6 years ago

Estamos hablando de un blog estático no muy relevante.

Discrepo enérgicamente de que seamos "no muy relevantes". Incluso aunque fuera verdad, mi primer objetivo sería salir de la irrelevancia.

Aseguremos que los datos en crudo están siempre disponibles. Luego que cada uno haga con esos datos lo que quiera, y que gane la mejor solución.

pablogsal commented 6 years ago

@Juanlu001 Grafana es un sistema de visualización de metricas, no de recoleción. Teneis que juntarlo con algo más. Todo depende de lo automatico vs flexible que queráis el asunto.

manugarri commented 6 years ago

como quedamos en esto @Pybonacci/editores ?

astrojuanlu commented 6 years ago

Deberíamos poder usar el Piwik que @kikocorreoso ya tiene en Webfaction. ¿Cuando puedas hacemos una prueba? (A partir del martes-miércoles, cuando se transfiera el dominio nuevo). De esa forma, no habría que montar nada nuevo. En cuanto al hecho de que Kiko sea el único con acceso a Webfaction, tratémoslo por separado en #21, que no es crítico.

manugarri commented 6 years ago

+1 @Juanlu001

astrojuanlu commented 6 years ago

"En curso: Paso 3 de 4, esperando confirmacion del anterior proveedor"

Calculo que mañana ya tengo pybonacci.org bajo control de nuevo.

kikocorreoso commented 6 years ago

he estado viendo que en webfaction para ciertas carpetas puedo dar determinados accesos a usuarios con ciertos privilegios.

Lo veo para reducir el busfactor

astrojuanlu commented 6 years ago

Ya está funcionando new.pybonacci.org, así que ya deberíamos poder hacer pruebas con esto.

manugarri commented 6 years ago

Genial, gracias @Juanlu001 !

astrojuanlu commented 6 years ago

Dicho por @kikocorreoso:

Lo hemos estado usando en pybonacci-WP y no creo que vaya muy fino. El número de visitas que da piwik es un orden de magnitud menor que el que daba WP-stats. Lo puse en marcha en poco tiempo montando Piwik en mi servidor y usando un plugin de WP e igual hay algo que está mal. Si alguien tiene experiencia con ello se agradece que lo mire.

En todo caso, Piwik ahora es Matomo:

https://matomo.org/

@pablogsal sugirió Prometheus + Grafana, pero no sé si ya automáticamente analiza los logs de las webs. Como la idea es no recopilar cookies ni datos personales de la gente, los logs del servidor sería lo único que nos interesaría analizar. Preguntas típicas:

kikocorreoso commented 6 years ago

Piwik/Matomo permite configurar el tema para ser GPDR friendly. Entiendo que esto lo puede hacer candidatos a ser amigo de la privacidad. Lo tendría que investigar.

Opciones:

-Parsear los logs. ¿Si está alojado en GH tenemos acceso a eso? -Seguir usando Piwik/Matomo. De la experiencia con el WP no estoy muy contento aunque igual configuré alguna cosa mal... -Otras ideas como prometheus (Grafana no lo vería necesario).

astrojuanlu commented 6 years ago

Ups, tienes razón que estando en GitHub no tenemos acceso a los logs... Necesitaríamos entonces volver a Matomo o buscar una alternativa similar. Tal vez las diferencias que observaste con Piwik se deban a esto:

https://matomo.org/faq/troubleshooting/faq_50/

Por otro lado, la cookie da más precisión:

https://matomo.org/faq/general/faq_156/

Pero si tuviéramos acceso a los logs, Matomo también da herramientas para analizarlos:

https://matomo.org/docs/log-analytics-tool-how-to/

kikocorreoso commented 6 years ago

Dejamos esto en standby, nos centramos en tenerlo todo corriendo como es de esperar: todas las entradas metidas y revisadas, comentarios funcionando, enlaces correctos,..., y luego vemos como hacer un deploy en mi server (y que lo pueda hacer cualquier admin) para poder meter analíticas con matomo o lo que sea.

¿Llevamos esto al hito 3.2?

manugarri commented 6 years ago

:+1: a postponer esto, nos podria retrasar bastante tiempo.

astrojuanlu commented 6 years ago

¡Buena idea!