search

seenthis / seenthis_squelettes

plugin "squelettes" de seenthis
11 stars 6 forks source link

Base de données en panne #260

Closed bortzmeyer closed 3 years ago

bortzmeyer commented 3 years ago

Depuis 14:15 UTC environ.

2021-03-16_15-30

bortzmeyer commented 3 years ago

Réparé à l'instant, tout remarche.

brunob commented 3 years ago

Ouep, espace disque fulll pour la partition de la db, une table crashée, j'ai réparé dans l'am.

bortzmeyer commented 3 years ago

Je recommande de superviser automatiquement la machine. Le plugin check_disk des monitoring plugins est très bien pour voir si l'espace disque est en train de s'approcher des limites.

brunob commented 3 years ago

@bortzmeyer au cas où tu ne serais pas abonné à la liste de discussion de seenthis :

La machine est effectivement déjà supervisée (par Munin, certes, mais aussi par notre supervision, cf. PJ qui affiche un extrait de ce qui semble être une page icinga, elle parlera à Stéphane :-) )

La partition mysql-tmp a été saturée du fait des sauvegardes, en quelques minutes, en pleine nuit. Visiblement, les réseaux OVH sont saturés en ce moment, et les sauvegardes inter-DC sont plus longues que d'habitude, ce qui doit provoquer des concommitances entre sauvegarde Veeam et sauvegarde MariaDB (collision avec les snapshots). C'est une supposition. Je n'ai pas eu le temps de regarder plus précisément ce qu'il s'est passé cette nuit là.

Notez que nous pouvons vous ajouter dans les alertes de la supervision, par mail et/ou par sms. N'hésitez pas à demander :-)