POST MORTEM: osm23 et osm24 down

[cquest]

Ce matin vers 8h, osm23 et osm24, nos deux VM hébergées par rezopole à Lyon étaient injoignables.

Voir: https://stats.uptimerobot.com/mQX5Vi5YW2/777678921

Impact :

• plus de caches de tuiles,
• donc service coupé sur nos fonds "critiques" FR, Humanitaire, cyclosm

Mail envoyé à rezopole à 8h40

Entre temps, pour rétablir le service, j'ai configuré un proxy_cache de secours sur le nginx d'osm25 ce qui implique :

• la redirection au niveau du DNS vers osm25 au lieu d'osm23 et osm24
• la regénération des certificats correcpondants sur osm25
• la config nginx de secours
• l'acceptation sur les serveurs de tuiles d'avoir des requêtes massives provenant d'osm25
• le passage par osm11 en proxy IPv4 pour osm166 car osm25 n'a pas d'IPv6 configuré

Les tuiles FR et humanitaires puis cyclosm étaient à nouveau disponibles un peu avant 9h30.

Entre temps, réponse à 9h17 de rezopole, le serveur physique qui héberge les VM vient d'être relancé. Problème pour m'y connecter en SSH... l'IPv6 n'est pas remonté, mais IPv4 est OK. IPv6 reviendra vers 10h30, et donc je rebascule sur la config DNS d'origine.

A améliorer :

• [ ] une détection plus active de la perte d'osm23/osm24... j'ai été prévenu par uptimerobot via un DM twitter
• [ ] une config nginx "tilecache" prête à l'emploi sur osm25 (copie de celles d'osm23 et osm24 ?)
• [ ] une recopie régulière des certificats d'osm23 et osm24, pour ne pas avoir à les regénérer en urgence
• [ ] une config DNS plus simple à basculer... tout pointant vers tilecache + tilecache2 en CNAME vers osm23/osm24 à modifier en osm25 en cas de secours + un TTL court pour des bascules rapides
• [ ] un test de temps en temps pour vérifier que ce mode secours est bien fonctionnel

[jocelynj]

Concernant le DNS: j'ai vu que l'API gandi était assez simple à utiliser pour changer un CNAME. Il y a un exemple pour modifier A/AAAA sur https://github.com/Gandi/api-examples/blob/master/bash/livedns/mywanip.sh, et c'est simple à adapter pour modifier CNAME.

[jocelynj]

L'ipv6 d'osm25 est maintenant activé. Ça devrait enlever l'utilisation d'un pont pour la prochaine fois.

[cquest]

L'ipv6 d'osm25 est maintenant activé. Ça devrait enlever l'utilisation d'un pont pour la prochaine fois.

Effet de bord... nginx n'avait pas de listen IPv6 dans toutes ses config... en particulier celle du rendu FR ce qui a posé des problèmes au cache d'osm23.