ETQ Utilisateur je ne veux pas que les emails de DS tombent en spam

kemenaran commented 5 years ago

On a depuis longtemps des problèmes de délivrabilité des emails. Il y a des soucis côté administration, et côté usagers.

Côté administration

Il semble que beaucoup de DSI de l'administration avalent les emails provenant de Mailjet. Ils apparaissent donc comme "delivered" au niveau de Mailjet – mais n'apparaissent pas dans les boîtes emails des utilisateurs (y compris dans le dossier "Indésirables").

On reçoit donc plein de tickets au support de gens qui ne reçoivent pas les mails. On répond généralement de voir avec leur DSI pour mettre Mailjet sur la liste autorisée.

Côté usager

On a également des tickets au support d'usagers qui ne reçoivent pas les emails. Ça a l'air moins fréquent ; et généralement les emails arrivent au moins dans la boîte "Indésirables" (plutôt que d'être avalés silencieusement).

Pistes de solutions

Plusieurs solutions ont déjà été mises en place pour diminuer notre score de spam ; comme la suppression des liens de tracking d'ouverture.

Les soucis restants semblent surtout être un problème d'IP bloquées – plutôt que d'un score de spam général.

Une solution serait donc d'utiliser une IP dédiée pour envoyer nos emails.

L'Éducation Nationale nous dit que ça les aiderait bien à pouvoir mettre les emails de DS sur la liste autorisée (HS 6979).

[x] Créer et configurer un sous-compte Mailjet pour les emails transactionnels
[x] Ajouter un enregistrement DMARK (https://github.com/betagouv/tps/issues/2982#issuecomment-440602589)
[x] Corriger les images cassées (#2518)
[ ] ~~Permettre d'envoyer une partie des emails sur le compte transactionnel~~
[x] Faire en sorte que Mailjet autorise notre IP chez Microsoft
[x] Basculer tous les emails sur le compte transactionnel
[ ] Vérifier que la délivrabilité est correcte

Contexte

Conversation avec Mailjet : https://app.mailjet.com/support/public-ticket/9d91c5130bd47a99b60776581cc0be16

kemenaran commented 5 years ago

Historique

On a demandé une IP dédiée à Mailjet, qui nous en a fourni une. On a basculé les emails dessus.

Mais l'IP n'était pas préchauffée, et a donc été bloquée par la plupart des fournisseurs d'emails.

On est donc revenu à l'ancienne IP.

kemenaran commented 5 years ago

Je vais reprendre la conversation avec Mailjet, pour essayer d'avoir une IP préchauffée.

Sinon, les gens de France Connect proposent de nous laisser utiliser une des IPs de leur compte Mailjet.

kemenaran commented 5 years ago

Relance à Mailjet envoyée ce jour. On leur demande où en est l'IP préchauffée, et si on peut l'avoir sur un sous-compte dédié aux envois transactionnel.

chaibax commented 5 years ago

Avoir une ip dédié pour le transactionnel ca serait juste parfait... J'ai testé la delivrabilité de l'ancienne ip : on avait un bon score, même avec le tracking des ouverture. Pour info, on ne track par les cliques.

kemenaran commented 5 years ago

Mailjet a répondu : ils suggèrent d'activer un sous-compte d'abord, et ensuite ils pourront y associer une IP.

Je vais essayer de m'en occuper.

kemenaran commented 5 years ago

On utilise maintenant un sous-compte Mailjet. Je les relance pour l'IP dédiée.

kemenaran commented 5 years ago

(NB : le sous-compte est suivi dans l'issue #2337)

kemenaran commented 5 years ago

Mailjet a activé l'IP dédiée ce week-end. Mais elle est bloquée par Microsoft, on a donc pris plein de bounce, et notre compte transactionnel s'est bloqué.

Pour l'instant @mmagn a repassé l'envoi des emails sur le compte principal. Je vois avec Mailjet pour qu'ils nous préviennent quand l'IP sera débloquée chez Microsoft.

Ensuite j'essaierai de réactiver les emails très progressivement sur la nouvelle IP. Notamment on n'a droit qu'à 3000 emails / jours pour commencer (+ 4% par jour), donc on ira doucement pour commencer.

kemenaran commented 5 years ago

Mailjet s'est rendu compte qu'on avait été bouncé par Microsoft, et a supprimé les limites d'envoi sur notre compte transactionnel.

On est toujours en attente que Microsoft rajoute l'IP sur la liste des emails autorisés. Dans l'immédiat, on peut commencer à envoyer quelques emails non-Microsoft avec le compte transactionnel.

kemenaran commented 5 years ago

À communiquer : O. Garry (CGDD) (cf. #2069)

chaibax commented 5 years ago

Alors, j'ai fait quelque essai avec le mail de création de compte admin et usager. On a un très bon score (quand l'ip n’est pas black-listé).

Cependant, on peut aller un peu plus loin pour être parfait :

On a pas d'enregistrement DMARC, il faudrait ajouter une entrée TXT à notre domaine _dmarc.demarches-simplifiees.fr avec la valeur suivante : v=DMARC1; p=none
deux images semblent cassées dans les 2 emails reçus.

[591 - Error : Url not formatted properly] /assets/mailer/gestionnaire_mailer/logo-06df949864406855987220813171a31d8047643f8c4665ea5bbcd078c3020ad5.png

[591 - Error : Url not formatted properly] /assets/mailer/gestionnaire_mailer/logo-beta-gouv-fr-b1c951baab45e20d6c2014f872749503d101276021b89a5eabcc37bffd053b90.png

Ce dernier soucis sera peut être corrigé avec les nouveaux template d'email ...

Ces test on été effectué avec comme serveur d'expedition (mailjet) 185.189.238.162 / bnc3.mailjet.com

kemenaran commented 5 years ago

C'est fait pour le DMARC.

kemenaran commented 5 years ago

c'est fait pour les images cassées.

kemenaran commented 5 years ago

Vu nos déboires réguliers avec les IPs de Mailjet, j'ai l'impression qu'on va devoir rediriger le trafic vers le compte transactionnel-avec-IP-dédiée progressivement.

Je suis en train de faire une PR pour qu'on puisse envoyer seulement une partie des emails vers le compte transactionnel, en fonction du domaine et/ou d'un ratio défini.

kemenaran commented 5 years ago

Relancé Mailjet vendredi. Aujourd'hui (lundi 26 novembre 2018) ils disent que c'est toujours en cours, et qu'ils vont relancer Microsoft.

kemenaran commented 5 years ago

Mailjet dit que l'IP est débloquée chez Microsoft, et m'ont demandé de faire un test. J'ai envoyé des emails aux adresses de test (hotmail, outlook), et ça fonctionne.

Mailjet confirme également qu'il n'y a pas de limite d'envoi sur ce compte transactionnel.

kemenaran commented 5 years ago

Je viens d'activer l'envoi des emails en utilisant le compte transactionnel et l'IP dédiée, pendant 1 h.

Bilan :

Aucun fournisseur bloqué, apparemment
Taux de délivrabilité de 98 % (très légèrement supérieur au compte habituel)
Les emails vers des adresses en .gouv.fr mettent du temps à partir, mais ils finissent par être éclusés
Quelques adresses bloquées, mais je crois que c'est normal

Bref, ça a l'air bon. Je pense ré-activer ça définitivement ce soir, ou dans la journée de demain.

kemenaran commented 5 years ago

J'ai ré-activé l'envoi des emails en utilisant le compte transactionnel ce midi.

Pour l'instant ça a l'air de bien se passer (à part que comme toujours, des emails vers des adresses en .gouv.fr mettent du temps à partir).

Je garde un œil sur les stats d'envoi, pour voir si on garde le truc activé.

kemenaran commented 5 years ago

Tout a l'air bon – sauf des emails @mayenne.gouv.fr et @gers.gouv.fr qui ne passent pas.

Du coup je désactive pour la nuit (pour voir si ça va finir par passer, et éventuellement les contacter demain sinon pour qu'ils nous whitelistent).

kemenaran commented 5 years ago

J'ai demandé aux gens concernés par les emails bloqués de prendre contact avec leur DSI pour débloquer notre IP. Et lundi prochain, je ré-active l'IP transactionnelle pour de bon.

kemenaran commented 5 years ago

Le compte transactionnel avec l'IP dédiée a été réactivé hier.

Bilan :

On a une délivrabilité de 99 % (contre 97-98 % avec le compte précédent)
On peut facilement dire aux DSI de nous débloquer, en leur demandant de mettre l'adresse IP sur la liste autorisée (y'a un message pré-enregistrée dans HelpScout)

Bref, pour l'instant ça a l'air d'être le succès. Je ferme ! 🎉

demarches-simplifiees / demarches-simplifiees.fr