incubateur-ademe / nosgestesclimat-site

Estimez votre empreinte climat - le code du site
https://nosgestesclimat.fr
MIT License
70 stars 40 forks source link

Tester la mise en place d'une alternative à Matomo - Plausible #895

Closed lbranaa closed 1 year ago

lbranaa commented 1 year ago

Au vu des limitations de Matomo aujourd'hui pour sortir les statistiques dont nous avons besoin, nous souhaitons tester d'autres outils. L'objectif de cette issue est de déployer le test avec Plausible

laem commented 1 year ago

Notamment, une alternative qui nous permet d'utiliser la fonctionnalité que Matomo appelle "dimension" (un événement attaché à l'utilisateur, qui ne se reproduit pas en doublon), qui est très limitée.

Un outil qui nous permet de tester des hypothèses en live (ou avec un temps de processing < 1 mi) dans les réunions. Ce que ne nous permet pas Matomo, car ses funnels sont hyper lents à calculer.

laem commented 1 year ago

Autre problème sur l'API : Matomo est assez nul dans sa doc, et l'API est limitée à 500 éléments (pages par exemple) par requête. En bref, on n'a pas un accès total pour faire les stats détaillées qu'on veut.

laem commented 1 year ago

Une chose importante : on peut tester très facilement une alternative. On la connecte, on récolte les analytics pour 1j, on test éventuellement l'implé d'une mesure d'événement.

dxb commented 1 year ago

Notamment, une alternative qui nous permet d'utiliser la fonctionnalité que Matomo appelle "dimension" (un événement attaché à l'utilisateur, qui ne se reproduit pas en doublon), qui est très limitée.

Un outil qui nous permet de tester des hypothèses en live (ou avec un temps de processing < 1 mi) dans les réunions. Ce que ne nous permet pas Matomo, car ses funnels sont hyper lents à calculer.

Il y'a une issue qui décrit en détail ce besoin ? Les objectifs ne peuvent être utilisés pour ça ? Les dimensions sont identifiées de quelle façon ? Les "rapports" de matomo, sont soit générés par une tache cron, soit à la demande lors de l'affichage. Mais effectivement, on est pas vraiment dans de l'analyse temps réel à la mili-seconde.

laem commented 1 year ago

Les objectifs sont intéressants, mais peu puissants : par exemple, on a l'objectif "a terminé la simulation", mais on ne peut pas combiner deux événements pour éviter l'écueil de l'iframe (les iframes nous pourissent nos stats avec des visites fantômes). Il nous faudrait "a terminé la simulation" && "a commencé la simulation".

![Uploading image.png…]()

Les dimensions sont identifiées de quelle façon ?

Donc en fait on aurai besoin des objectifs mais plus puissants, avec combinaisons de conditions, comme les segments... mais pseudo temps réel.

Cette issue est à rapprocher du besoin précis de https://github.com/datagir/nosgestesclimat-site/pull/907. On veut stocker l'éventuelle réponse de l'utilisateur à notre étude d'impact sur deux questions numériques, plus éventuellement un champs libre. Les événements Matomo ont des problèmes : difficile de créer des segments d'utilisateurs ayant par exemple répondu > 4 à la question "vous avez appris quelque chose" && ayant terminé le test, car il faut les préparer à l'avance et attendre qu'ils soient calculés. On ne pourra pas non plus travailler sur la distribution de réponse à ces questions, du fait de l'API limitée (les 500 pages), ce n'est pas une bonne base de données.

Après peut-être qu'on se fourvoie sur la capacité des autres outils, mais ça vaut le coup de tester je crois.

laem commented 1 year ago

À investiguer : plusieurs collègues de beta nous disent qu'ils sont passés à Plausible https://plausible.io/docs/goal-conversions

dxb commented 1 year ago

J'ai donc fait un test en local avec Plausible https://github.com/datagir/nosgestesclimat-site/pull/947 Sa simplicité entraine quelques limitations. Je pense que se sera à vous de trancher après l'expérimentation.

Prochaines étapes : Ouvrir un compte et lancer le test en prod, on a 30 jours pour essayer.

Alternative : On peut l'auto-héberger, mais ça n'est peut être pas nécéssaire.