Raccolta del dato di throughput

pdavide commented 5 years ago

Riporto conversazione in review:

@pdavide: L'output del comando non potrebbe essere utile per monitorare eventuali anomalie? Chiedo al buio perché non ho la più pallida idea di che output produca il comando.
@giafar: Si potrebbe essere rediretto su /dev/stdout e /dev/stderr ... quello che restituisce è il numero di transazioni al secondo processate o un messaggio che la coda e vuota ... e quindi ne avrei uno ogni 0.5 secondi che mi sembrano un numero elevato ... comunque possiamo capire come gestirlo
@pdavide: Se lo stesso dato (TPS) lo abbiamo già da altre fonti, questo potremmo usarlo solo come check istantaneo, senza memorizzare lo storico e quindi risolvendo il problema del consumo di spazio dovuto all'alta frequenza dell'output.

pdavide commented 4 years ago

@giafar ho notato da kibana che i pod matomo-worker spesso loggano delle righe vuote, causando una proliferazione che rende difficile la ricerca/consultazione. Possiamo verificare come si evitarlo?

pdavide commented 4 years ago

Rispetto a quanto segnalato in https://github.com/pdavide/wai-infrastructure/pull/106#issuecomment-568171098 è più opportuno raccogliere il dato usando le metriche fornite da redis e inviate a prometheus.

giafar commented 4 years ago

Non credo sia possibile visto che QueuedTracking non mi sembra inserisca una entry per ogni track ricevuto ma le accorpa in batch e quindi dedurne il throughput credo sia un pò più complicato. Comunque verifico.

pdavide commented 4 years ago

Qui potremmo capire come sfruttare l'output di queuedtracking:monitor.

AgID / wai-infrastructure

Raccolta del dato di throughput #31