Analyse de trafic utilisateur

florimondmanca commented 1 year ago

User story

ETQ membre de l'équipe, je consulte les données de trafic utilisateur afin de savoir si le site est utilisé

Critères d'acceptation

[ ] Les paramètres de configuration propre au script de suivi suivent les recommendations de la CNIL permettant l'exemption de consentement
[ ] L'instance Matomo utilisée est configurée en suivant ces mêmes recommendations
- [ ] Dans le cas contraire, un recueil du consentement est mis en place
[ ] Les données de trafic apparaissent publiquement sur https://stats.beta.gouv.fr
[ ] Les impacts environnementaux de l'ajout de Matomo ont été pris en compte (critère 2.5 du RGESN)
[ ] Un utilisateur peut "opt out" du suivi de trafic via la page "Politique de confidentialité" (NB : cette page n'existe pas encore) (recommendation CNIL + critère 4.5 du RGESN)

Implémentation

Intégration initiale : PR #417 et suivantes
S'assurer de la conformité de l'instance Matomo vis à vis des recommendations de la CNIL
Cookie banner si ce n'est pas le cas

Contexte supplémentaire

Un travail a été démarré via #417, #426 et #427 suite à discussion avec @MathieuFV sur le Mattermost

Ce ticket est créé "après coup" pour clairement lister des critères d'acceptation, notamment en rapport avec la conformité RGPD

johanricher commented 1 year ago

DiaLog apparait bien sur l'instance (idSite=38) mais aucune donnée ne semble être transmise.

Il y a un salon Mattermost dédié à l'instance stats.beta.gouv.fr qui permettrait peut-être d'avoir des réponses si on est bloqué : ~incubateur-matomo

Concernant le RGESN #423, est-ce qu'on peut considérer que notre utilisation de Matomo est conforme ? quelles sont les questions à se poser ? @aureliebaton

@florimondmanca @mmarchois Si je me réfère à la user story : Qu'est-ce qui permet de dire que Matomo va nous servir à "diagnostiquer des problèmes de navigation" ? il me semble que l'outil n'est pas prévu pour (à la différence de Sentry par exemple).

Quant à "savoir si le site est utilisé comme prévu", je ne suis pas sûr que des statistiques de visite basiques nous apporteront une information utile. Pour avoir des infos précises, il me semble qu'il serait nécessaire de configurer des event trackers spécifiques (par exemple transport.data.gouv.fr le fait pour savoir si les boutons "voir plus" sont utilisés). Or ici je ne vois pas d'élément spécifique à tracker, et je pense que les entretiens utilisateurs qu'on réalise nous éclaireront beaucoup plus sur les problèmes d'utilisation rencontrés par les utilisateurs.

La question pour moi demeure : sur quoi on a besoin de statistiques ?

florimondmanca commented 1 year ago

Vu les discussions lors de la dernière rétro

Est-ce que ça vaut le coup de relancer le sujet Matomo ?

On pourrait mettre à jour la user story. Je dirais que le "pourquoi" est avant tout : savoir si des gens utilisent vraiment DiaLog (au-delà de ce que connaît la DB et qui apparaîtra dans #506), et sur quelles pages les gens vont, ou pas. Ça permet d'avoir un aperçu basique. Je crois que c'est dans les cordes de Matomo ? Les "problèmes de navigation" ça serait autre chose / plus compliqué je pense.

Dans ~incubateur-ops quelqu'un d'autre a aussi l'air intéressé de savoir si l'instance Beta est CNIL-compliant (ou s'il faut collecter un consentement), on va unir nos forces pour savoir si c'est le cas

johanricher commented 1 year ago

La question "sur quoi on a besoin de statistiques ?" que je posais ci-dessus me semble toujours d'actualité, voire davantage dans le contexte d'indicateurs d'impact à atteindre #506, et dont pour l'instant il me semble aucun ne dépend directement ou efficacement du "nombre d'utilisateurs" (ou d'une métrique qu'on puisse mesurer avec Matomo).

MathieuFV commented 1 year ago

Oui je partage. Pour la page stats je trouverais infiniment plus intéressant de suivre le nombre d'utilisateurs actifs que le nombre de créations de comptes comme on peut le trouver sur le site d'autres startup comme https://trackdechets.beta.gouv.fr/stats/

Du coup Matomo semble être la solution adaptée, ensuite il faut qu'on définisse les critères qui qualifient un utilisateur actif (à discuter plutôt dans #506 ).

L'autre utilité de Matomo (mais je ne suis pas assez connaisseur de la solution pour en connaître l'étendue des capacités) serait de nous aider à mesurer l'usage de certaines fonctionnalités. Typiquement je pense qu'on peut séparer les fonctionnalités de DiaLog en deux groupes : Celles qui contribuent directement à réaliser l'objectif de numériser et transmettre les réglementations aux GPS, et celles qui contribuent à "fidéliser la base utilisateur" en apportant des outils pratiques, comme l'export word.

Sur le premier groupe de fonctionnalités établir exactement ce que l'on souhaite suivre à l'aide de Matomo me semble compliqué. Je suppose que ce que l'on souhaiterait comprendre c'est l'usage de certains champs : ce qui est exactement entré dans le champ localisation, le nombre de restriction de circulation déclarées par type, les usages du module horaires (plutôt des périodes, des dates, etc.). Difficile à déterminer exactement.

Sur le second groupe de fonctionnalités c'est beaucoup plus simple, on peut par exemple mesurer le nombre de clics sur le bouton d'export word. De même pour le blog (à voir si l'instance Matomo fonctionne dessus car lorsque j'ai travaillé sur le layout des articles l'inspecteur renvoie systématiquement une erreur à l'initialisation de Matomo).

johanricher commented 9 months ago

Pour info j'ai enfin pu avoir confirmation (discussions ici et là notamment) que l'instance Matomo mutualisée stats.beta.gouv.fr a bien été paramétrée en suivant les recommendations de la CNIL et de façon à pouvoir se passer d'une bannière de consentement.

Ce devra être précisé sur la page vie privée le cas échéant (#441).

MTES-MCT / dialog