demarches-simplifiees / demarches-simplifiees.fr

Dématérialiser et simplifier les démarches administratives
https://www.demarches-simplifiees.fr
GNU Affero General Public License v3.0
192 stars 88 forks source link

[RFC] Indicateur objectif de qualité d'une démarche #9006

Open chaibax opened 1 year ago

chaibax commented 1 year ago

Objectif

L'objectif de cette amélioration est de permettre à un administrateur de savoir que ça démarche est compliqué à remplir. Cela nous permet aussi, en tant que chargé de déploiement, d'identifier de tel administrateur pour les accompagner dans l'amélioration de la facilité de remplissage de leur démarche.

En mettant en avant la complexité de remplissage de sa démarche, nous pouvons inciter l'administrateur à modifier sa démarche. On ne peut améliorer que ce qu'on peut mesurer.

En améliorant la qualité des demarches, nous augmentons organiquement et immediatement le nombre nombre de dossier déposé chaque mois sur DS, et donc son impact.

Context

Par qualité de la démarche, j'entends la facilité qu'a un usagé pour remplir une démarche.

Par facilité, j'entends le fait de

  1. reussir a remplir la démarche,
  2. ainsi que le temps qu'il faut pour le faire .

Aujourd'hui, on peut connaître uniquement le temps estimé de remplissage d'un formulaire (uniquement le 2)

Il manque ce qui concerne "reussir à remplir la démarche"

Indicateur objectif de facilité de remplissage

Cet indicateur est un taux de conversion.

C’est-à-dire le % de répondants ayant réussi à déposer au moins un dossier (A) vs ceux ayants commencé un ou plusieurs brouillons sans jamais déposer un dossier (B)

Taux de conversion de la démarche =

(nb de personnes n’ayant que des brouillons (B)) / (nb de personnes ayants déposé leur dossier(A))

Réferentiel

Ce n'est pas suffisant, le taux de conversion seul ne permet de prendre une décision. Qu'il soit de 10% ou de 90%, ça ne veut rien dire en soit.

Par contre, il prend tout sont sens si on le compare au taux de converesion d'autres démarches .

Il est en resulte que :

Cela necessite de pouvoir trouver un segment de comparaisons avec la démarche, c’est-à-dire etre en capacité de la mettre dans un type de démarche similaire.

À defaut, on peut imaginer faire une comparaison avec le taux de conversion global de toutes les démarches sur DS

Score de qualité

On peut imaginer un socre de qualité, simple à lire par un admin, de 0 à 100.

Prenant en compte :

Passer à l'action

Une fois qu'on a ce score, il faut :

De même, il faut savoir comment le mettre en avant au niveau UX sur l'interface coté chagé de déploiement DS, pour être proactif dans la prise de contact avec les admins de demarche de faible qualité .

Next step

Pour ne pas se lancer dans un dev innutile, on pourrait commencer par

Version avancée

On pourrait imaginer afficher l'évolution de la qualité de la demarche (suite a des modificaion par exemple)

Capture d’écran 2023-05-05 à 10 12 35

On pourrait imaginer rentrer dans le detail d'une démarche pour savoir qu'elles sont les champs qui font quitter le remplissage, c’est-à-dire qui sont anxiogène ou problématique pour le répondant .

Comme sur typeform :

Capture d’écran 2023-05-05 à 10 12 49

On pourrait aussi prendre en compte dans le score de qualité la note de l'observatoire du numerique https://observatoire.numerique.gouv.fr/

emsnytech commented 1 year ago

Dans l'approche, il serait intéressant d'arriver à distinguer ceux qui font plusieurs brouillons avant de déposer un dossier. cela peut fausser les chiffres. C'est déjà un indice simple... et que l'on peut vite obtenir ! La comparaison avec d'autres démarches est assez délicate, car une demande de subvention n'a pas grand choses à voir avec une demande de RDV . On sait déjà par exemple que le temps moyens de remplissage d'un dossier de DETR est de plusieurs semaines, alors que le délais moyen général est de une journée..., dont plus de 80 % en moins d'une heure) Le taux de conversion global, comme par exemple de temps moyens de remplissage, risque de pas vouloir dire grand choses ( on a examine cette piste l'an passée pour les temps moyens, on a encore les résultats sur Métabase) On mélange des choux et de carottes, et on décrédibilise l'analyse elle-même. Tout tourne à mon sens autour de la question de "démarches type" qui puissent nous permettre d'avoir des dénominateurs compatibles et comparables. Comment y arriver ? les tag ? le fait de partir d'une démarche clonée ? On peut aussi avoir une vue par services ... (une autre approche qui peut paraitre intéressante pour les administrateurs et des services qui mettent en couvre plusieurs procédures)

J'aurai aussi un autre angle, celui des administrateurs... comment accélérer la mise en place des démarches ! https://admin.demarches-simplifiees.fr/dashboard/3-admin-pirate-metrics-v2

chaibax commented 1 year ago

On peut jouer sur les 2 angles simultanement en effet.

La notion d'etalon / dénominateur commun est à trouver. Le tag est peut-être une bonne solution pour pouvoir se comparer.

Dans tout les cas, on devrait avoir , tout le temps, le meme nombre de demarche dans le top 10 des demarches de qualité, et dans le top 10 des pires démarches . En gros, la repartition serait lineaire . Ce qui pousse naturelement a une augmentation globale de la qualité car on aura toujours des demarches peu qualitative a améliorer .

chaibax commented 1 year ago

@krichtof : tes commentaires sont les bienvenus

Olivier-Marcellin commented 1 year ago

cette amélioration serait très utile pour le suivi de la qualité des démarches et de rendre plus autonome l'administrateur dans la prise en compte des modifications à apporter. L'indicateur objectif de taux de remplissage semble être un indicateur transverse à toutes les démarches (car il permet d'évaluer à quel moment n usagers ont décrochés ?

mfo commented 1 year ago

concernant l'etalon j'ai pas de meilleure proposition que les tags. en revanche pour l'affichage dans l'UI j'ai p-e une idée,

quid de le mettre ds le tableau de toutes les démarches. Même si on ne sait pas identifier l'étalon, mon hypothèse est que l'admin est le plus callé pour identifier une démarche a cloner, et selectionner celle qui affiche les meilleurs indicateurs de qualité ?

Screenshot 2023-06-19 at 9 07 01 AM
chaibax commented 1 year ago

Bonne idée l'ajotu au tableau de tout les démarche. On pourrait aussi/en plus afficher les démarche a cloner par ordre de qualité