odelcroi commented 7 months ago

En tant que User, j'aimerais signaler un désagrément lors de mon appel :

coupure
mauvaise qualité
impossible de passer un appel (à distinguer de : la personne que j'appelle ne veux pas me répondre :) )

Pourquoi?

s'assurer que le service est de bonne qualité dans un environnement hautement hétérogène (parefeu, bande passante etc..)
detecter et tenter de corriger aux plus vite les soucis

Quoi ?

donner aux users la possibilité de nous donner un feedback facilement lors de la tentative d'un appel ou en fin d'appel

Comment ?

Contacter la personne et avoir plus d'info sur sa configuration matériel et réseau
Pouvoir avoir des stats du nombre de feedback négatif
Avoir la date précise de l'appel pour retrouver les erreurs serveurs
Si possible s'intégrer dans des process tchap déjà établis

Pistes

1 - proposer d'ouvrir un ticket crisp avec des champs pré-rempli (une landing page?) 2 - proposer un formulaire aux users à la fin de l'appel (à la manière de skype qui donne une possibilité de donner un feedback avec une note de 1 à 5 à la fin de l'appel) avec un outil externe

Exploitations des problèmes

Pour bien traiter ces cas, nous aurions besoin coté serveur de :

monitoring des stats du serveur
erreurs serveurs

Pour mesurer la fiabilité du systeme :

mettre à disposition des statistiques d'impact. Par exemple : nombre d'appels traités sur un mois/(nombre de feedback négatifs recus)

odelcroi commented 5 months ago

@NicolasBuquet @yostyle @MatMaul Pour donner l'occasion aux users de nous donner un feedback sur l'appel, que pensez-vous de :

présenter un lien vers un formulaire evalNgo lorsque l'appel se termine.

Je pense qu'on peut capturer l'evenement "l'appel se termine" coté client et adapter un peu l'affichage de cet événément.

odelcroi commented 5 months ago

@MatMaul @heroinedor Est-ce qu'il est possible de tracker le nombre d'appels qui sont passés sur un mois? Est-ce qu'on a des statistiques de "qualité d'appel coté serveur?

MatMaul commented 5 months ago

Je pense qu'on peut capturer l'evenement "l'appel se termine" coté client et adapter un peu l'affichage de cet événément.

Je pense que c'est une bonne idée, en plus c'est pas très intrusif.

Est-ce qu'il est possible de tracker le nombre d'appels qui sont passés sur un mois? Est-ce qu'on a des statistiques de "qualité d'appel coté serveur?

Coté serveur coturn ca va être compliqué, je viens de faire un test et les clients font régulièrement des requêtes STUN pendant un call, donc on peut pas se baser la dessus. Et on a pas d'info sur la qualité non plus, on voit juste des bytes passer. Coté synapse on peut pas non plus compter les calls vu que les evenements sont encryptés, on voit juste l'enveloppe m.room.encrypted qui est la meme pour tous les evenements encryptés.

mcalinghee commented 5 months ago

@odelcroi : est-ce qu'on ne peut pas effectuer ces signalements en utilisant le rageshake?

julie-ri commented 5 months ago

j'ai mis ici ce que fait J-M sur les outils de visio https://www.notion.so/mercurial-timer-ec4/Comment-font-les-autres-produits-cc0e791887e24db9b5d0a4ae5aa95067?pvs=4

NicolasBuquet commented 5 months ago

@odelcroi

mettre à disposition des statistiques d'impact

Concernant l'analytic d'usage, je pense qu'il faut la dissocier de l'analytics de problèmes.

Je propose de collecter de l'analytics d'usage "qui marche" pour pouvoir mesurer le service rendu.

Remontée d'infos dans sur matomo par exemple :

au démarrage d'un appel, log d'un event dans matomo contenant
- un UUID attribué
- identification de la plateforme source
- identification de l'instance ?
- timestamp de démarrage
à la fin d'un appel, log d'un event dans matomo contenant
- l'UUID de l'appel
- timestamp de fin
- éventuellement la raison de la fin de l'appel (pas obligatoire car fait double emploi avec 'il y a eu un problème, mais peut être intéressant).

Cela permet d'avoir des stats d'usage "appels voip effectués" :

par période
par instance
par durée (permet de quantifier l'usage)

odelcroi commented 5 months ago

Idée 1 : crisp

Utiliser crisp pour logguer les feedbacks et prendre contact avec les gens pour demander plus d'infos. De plus, avec des segments crisp on peut avoir des statistiques sur le nombre de feedbacks
[x] Peut-on crééer une landing page dans crisp pour capter les feedbacks avec des champs prérempli : NON. Crips ne permet pas ootb de construire des landing page. Crisp est une solution orientée "conversation bot". L'unique autre porte d'entrée sont : email (comme pour les rageshake) ou API
[x] Tally -> Crisp, Test : https://tally.so/r/mK1yVX?email=olivier.delcroix@beta.gouv.fr&client_platform=iOs

Réponse dans Crisp par email :

[ ] Autre outil web -> Crisp
[ ] Client Tchap -> rageshake -> Crisp

odelcroi commented 5 months ago

@areox-net j'ai fait un test dans tally, c'est pas mal et ca envoie dans crisp (voir commentaire précédent) : https://tally.so/r/mK1yVX?email=olivier.delcroix@beta.gouv.fr&client_platform=iOs

@NicolasBuquet @estellecomment @yostyle Pensez vous qu'on arrive à construire une telle url depuis les clients pour pouvoir prérémplir certains champs du formulaire de feedback

areox-net commented 5 months ago

@odelcroi J'ai aussi fait un test en rajoutant une condition: on commence par demander une note et on demande plus de details seulement si < 3 étoiles https://tally.so/r/3NoyoO

odelcroi commented 5 months ago

@areox-net j'ai fait un test dans tally, c'est pas mal et ca envoie dans crisp (voir commentaire précédent) : https://tally.so/r/mK1yVX?email=olivier.delcroix@beta.gouv.fr&client_platform=iOs

@NicolasBuquet @estellecomment @yostyle Pensez vous qu'on arrive à construire une telle url depuis les clients pour pouvoir prérémplir certains champs du formulaire de feedback

Le problème de Tally c'est qu'on a pas les logs, est ce qu'on pourrait utiliser le composant de remontées de problème rageshake plutôt? Il envoie les logs. Le top serait de pouvoir le pré-remplir avec certaines questions pour éviter un aller retour au support

estellecomment commented 5 months ago

Je sais pas qui c'est tally mais avec l'url que tu indiques tu envoies des donnees personnelles sur un third party. RGPD-wise faut faire qq chose? Et est-ce qu'ils sont en UE ? (on privilegie les donnees dans, l'UE, c'est la coutume)

estellecomment commented 5 months ago

Sur audioconf on envoie un mail de demande de feedback apres l'appel, sur evalandgo

https://www.evalandgo.com/s/index.php?id=JTk5ayU5NGglOUMlQTk%3D&a=JTk2byU5NmglOUUlQUI%3D

estellecomment commented 5 months ago

Pensez vous qu'on arrive à construire une telle url depuis les clients pour pouvoir prérémplir certains champs du formulaire de feedback

Construire l'url ca parait pas tres compliqué, on peut aller chercher l'email de la personne je pense, c'est son third party id (3pid). Où l'afficher ? Le top ca serait de l'afficher a la fin du call, pour ca il faut detecter la fin du call pour afficher le truc... (je peux etudier ca quand j'aurai fini l'upgrade) On peut rajouter une section "Signaler un probleme audio" dans le dialog d'aide ou dans le menu de la room si on veut.

yostyle commented 5 months ago

une exemple sur element call

areox-net commented 5 months ago

@estellecomment Tally est en Belgique.

yostyle commented 5 months ago

Pensez vous qu'on arrive à construire une telle url depuis les clients pour pouvoir prérémplir certains champs du formulaire de feedback

Construire l'url ca parait pas tres compliqué, on peut aller chercher l'email de la personne je pense, c'est son third party id (3pid). Où l'afficher ? Le top ca serait de l'afficher a la fin du call, pour ca il faut detecter la fin du call pour afficher le truc... (je peux etudier ca quand j'aurai fini l'upgrade) On peut rajouter une section "Signaler un probleme audio" dans le dialog d'aide ou dans le menu de la room si on veut.

L'URL c'est faisable en effet, récuper l'email est assez simple on a un exemple dans les rapports de bug. Pour la fin du call il faut écouter les events de type m.call.hangup dans la timeline

odelcroi commented 5 months ago

Cool, une alternative un peu plus complète (avec les logs clients) : https://github.com/tchapgouv/tchap-product/issues/267

NicolasBuquet commented 5 months ago

Aucun souci côté mobile a appeler une URL externe construite à nos besoins.

Sur mobile, l'email n'est pas toujours disponible dans les donnés du compte (constaté des fois dans les remontées rageShake). On peut se rabattre alors sur un paramètre matrixId qui est plus constant.

Les avantages d'utiliser le RageShake :

déjà présent dans le produit en situation de souci
présence d'infos complètes utilisateur
présence des journaux d'activité
pas de souci RGPD

Je voterai alors pour l'usage du RageShake @odelcroi

estellecomment commented 3 months ago

https://github.com/tchapgouv/tchap-web-v4/issues/950 (small bug on "report a pb" button on web)

tchapgouv / tchap-product

voip : je veux signaler un problème lors de mon appel #247

Pourquoi?

Quoi ?

Comment ?

Pistes

Exploitations des problèmes

Idée 1 : crisp