Bug d'accès aux démarches

AnthonyBrunelli commented 2 years ago

Je trace ici quelques exemples de problèmes/bugs d'accès aux données des démarches :

AnthonyBrunelli commented 2 years ago

Rapporté par Joffrey: par rapport aux temps de chargement très longs par exemple, je n’arrive pas à accéder à cette démarche : https://observatoire.numerique.gouv.fr/Demarches/2219 Cela ne fonctionnait pas ce matin, puis fonctionnait parfaitement à midi, puis ne fonctionne plus. voilà ce sur quoi je tombe après 10 minutes d’attente : image (3)

AnthonyBrunelli commented 2 years ago

Autre exemple, sur la page admin des avi

s https://observatoire.numerique.gouv.fr/Avis/Admin/Statistiques/

AnthonyBrunelli commented 2 years ago

Ce qu'on s'est dit (point Anthony Anca):

pour le premier cas, il faut tracer URL date heure minute pour une bonne analyse du problème.
pour le deuxième, la recherche sur tout les avis ne fonctionnent pas (trop d'avis). Il faut passer par SolR https://observatoire.numerique.gouv.fr/Avis/Admin/SolrSearch/ -> suppression des liens qui ne fonctionnent pas, ajout du lien vers SolR.
pour les deux cas, il faut modifier le message valable aussi pour les utilisateurs du formulaire JDMA (message unique) en supprimant toute réf à VoxUsagers (je fais un autre ticket #1103 ).

jrenauxdinum commented 2 years ago

Hello ! Nous avons essayé à de nombreuses reprises de charger cet url mais nous ne parvenons pas à charger la page. Nous en avons besoin afin de MAJ l'Observatoire (la démarche vient de rentrer dans le top 250 et avait déjà le bouton JDMA) https://observatoire.numerique.gouv.fr/Demarches/2219?view-mode=statistics&date-debut=2021-04-01&date-fin=2022-03-31

jrenauxdinum commented 2 years ago

Nous avons besoin des statistiques de Satisfaction de la démarche 2219 du 01.04.21 au 31.03.22 pour la prochaine publication de l'Observatoire. Je viens de relancer la page mais cela ne fonctionne toujours pas :(

lucaa commented 2 years ago

Nous avons besoin des statistiques de Satisfaction de la démarche 2219 du 01.04.21 au 31.03.22 pour la prochaine publication de l'Observatoire. Je viens de relancer la page mais cela ne fonctionne toujours pas :(

Maintenant je vois les résultats correctement à https://observatoire.numerique.gouv.fr/Demarches/2219?view-mode=statistics&date-debut=2021-04-01&date-fin=2022-03-31 .

@jrenauxdinum Je suppose que ce que t'as vu toi était une page qui chargeait sans rien afficher pour ~5 minutes, et l'écran d'erreur avec "madame, monsieur, le service est temporairement indisponible...".

Ces écrans, pour toutes les démarches hors observatoire, sont affichées de la manière suivante:

lors du premier accès à la page, on calcule les valeurs à partir des donnés de tous les avis
- les calculs dépendent des dates de l'URL, donc dès qu'une telle date change, un nouveau calcul est nécessaire
- @jrenauxdinum tes accès à cette page avec ces dates dans les URL étaient des tels premiers accès
- je vois dans les logs quelque chose comme 10 minutes pour l'URL ci-dessus
ensuite, l'écran ainsi calculé est mis dans un cache et stocké en mémoire
lors des accès suivants, on affiche l'écran stocké du cache
- mon accès était dans cette situation, donc cela s'est affiché instantané pour moi.

Note: le stockage en mémoire est nettoyé toutes les nuits à 4h, donc demain matin t'auras à nouveau le problème de devoir attendre ~10 minutes - un premier accès pour lancer le calcul, et ensuite un deuxième quelques 10-15 minutes plus tard pour voir les résultats.

Note: pour les démarches des observatoires et pour les dates des observatoires , un mécanisme de pré calcul et stockage des données a été ajouté dans #866 , pour afficher les données instantanément .

@jrenauxdinum Si tu veux accéder à plusieurs telles démarches pour l'observatoire avril 2022, peux-tu les ajouter dans le top250 maintenant pour que je lance le pré-calcul maintenant?

AnthonyBrunelli commented 2 years ago

@lucaa on a eu le problème aujourd'hui. Probablement dû a des manip de notre côté pour aller chercher des verbatims sur des grosses démarches (je dois voir ce qu'il a fait exactement avec Joffrey, et moi aussi j'ai dû lancer des trucs de mon côté). Tu peux confirmer? (ou pas...)

Par ailleurs, il faut qu'on change le message, absolument. Je vais voir si on a déjà un ticker sur le sujet sinon je l'ajoute.

AnthonyBrunelli commented 2 years ago

(vu c'est en staging pour le message #1103 )

jrenauxdinum commented 2 years ago

Pour ma part ce que j'avais fait c'était : essayer d'exporter 10K avis sur la démarche 823 L'url était le suivant : https://observatoire.numerique.gouv.fr/Demarches/823#liste-avis-tab%7Ct=avis&p=1&l=10000&s=autre&d=desc

Il n'avait pas abouti

AnthonyBrunelli commented 2 years ago

Problématique suivie dans le cadre de la #1180 et #1179 donc je ferme ici.

AnthonyBrunelli commented 2 years ago

N'embarque pas les problèmes sur les avis détaillés, car pas couvert sur les agrégats. Prévu ultérieurement avec l'archivage.

DISIC / observatoire

Bug d'accès aux démarches #1098