CNPG: Alertes Mattermost

[igorrenquin]

Se renseigner pour voir comment être alerté en cas de perte de replicas

[octomir]

@revolunet est-il possible de recetter le ticket et le fermer merci

[octomir]

des alertes sont effectifs sur le canal mattermost un test sur la suppression d'un replica doit être fait

[revolunet]

• Comment tester la suppression d'un replica ?
• Comment faire pour ne pas se faire spam par les alertes inutiles (ex: pastek-mirror) ?

[revolunet]

maybe related : https://github.com/cloudnative-pg/cloudnative-pg/issues/1814

[achauve]

yes je suis tombé dessus en cherchant aussi, mais pas de solution claire ? effectivement passer la métrique sur le primary alors qu'on regarde le lag sur les replica ça paraît louche ?

[revolunet]

Règles par défaut : https://github.com/cloudnative-pg/charts/blob/8fe6dee4e7966ca474d33f0769d2207a38befb96/charts/cloudnative-pg/values.yaml

Settings sur les clusters : https://gitlab.fabrique.social.gouv.fr/infra/apps-infra/-/blob/main/prometheus-operator/common.values.yaml#L136

[LucasBassoOcto]

Session de pair afin de parametrer le monitoring cnpg (délai entre le réplica et le primaire) dans la chart helm de l'operateur

[igorrenquin]

TO DO :

SRE

• [ ] Analyse des alertes générées par CNPG
  • replicas
  • other to find

OPS

• [ ] Appliquer le fix pour empécher le floud

[revolunet]

Erreurs PGReplication

Comportement normal sur les alertes vérifiées : les données sont MAJ toutes les heures seulement sur ces DBs

https://gitlab.fabrique.social.gouv.fr/infra/apps-infra/-/merge_requests/644/diffs

[igorrenquin]

Ajout d'un filtre sur la PR de julien. Cause de l'erreur : la requête de la métrique s'applique sur tous le cluster CNPG plutôt que sur le noeud master. En attente d'une PR du côté CNPG (nouvelle realease)