Bug export des avis - Githubissues

AnthonyBrunelli commented 2 years ago

Impossible d'exporter les avis sur toutes les démarches de la DGFIP

A minima dans l’observatoire : Gérer mon prélèvement à la source 2435 Déclaration des revenus 823 Paiement amendes (Amendes) 840 Consultation du plan cadastral 1868 Paiement impôts particuliers 824 Achat de timbre fiscal 841 Déclaration de résultat BIC, IS, BA pour régime RSI, BNC et RF des SCI déposant une 2072 C, TS (ACQUI EFI PRO) 833 Déclarer la TVA 831

AnthonyBrunelli commented 2 years ago

Pour la demande de la DGFip, j'ai fait un ticket dans GitLab (#17). Pour le bug, je laisse ça là, mais j'imagine que c'est lié au problème de performance.

lucaa commented 2 years ago

Je ne reproduis pas le problème, au moins sur 2435 et 833 pour lesquelles j'ai exporté les données sans problèmes, après une attente conséquente mais affichée sur l'écran sous la forme d'une barre de progress, avec informations (et détails si click sur Journal de la tâche, ainsi):

Pour la démarche 833 j'ai réussi un export excel et csv, pour la démarche 2435 j'ai essayé uniquement l'export csv (réussi), l'export xls est en cours.

Apparemment, le défaut observé est le suivant (l'info que j'ai):

Je cherche à charger les données au format Excel de l'observatoire. J'ai créé un compte, je me suis identifié comme porteur de Paiement impôts particuliers. Mais impossible de télécharger des données via l'export Excel. Une page s'ouvre après avoir cliqué sur le bouton d'export excel mais la page reste vide et après une demi-journée d'attente rien ne se passe. Voici le lien de la page permettant de télécharger les données : https://observatoire.numerique.gouv.fr/get/Macros/LivetableExporterMacroResults?outputSyntax=plain&transprefix=demarches.livetable.

Cet récit ne correspond pas vraiment à un problème de taille des données à exporter mais potentiellement à un autre problème, car:

Une page s'ouvre après avoir cliqué sur le bouton d'export excel

cette ouverture de nouvelle page et l'attente devant une page 'vide' ne fait pas partie de l'utilisation 'normale' de la fonctionnalité.

Le fonctionnement normal de cette fonctionnalité est le suivant:

sur l'onglet liste des avis de la démarche pour laquelle les avis doivent être exportés, avec ou sans chargement complet du tableau des avis,
lors du click sur un des boutons d'export, un message de confirmation est affiché sur l'écran, avec "Etes vous surs de vouloir exporter ..."
lors du click "oui" dans ce dialogue, la barre de progress s'affiche en dessus du bouton d'export
la barre de progres est vide au début et se rempli selon l'avancement
en dessous de la barre de progres, même sans cliquer sur 'journal de la tache', l'opération courante est affichée (par exemple "Exportation de la ligne 21,959/54,347") et cette opération courante change avec la barre de progres selon l'avancement.

Voir https://github.com/DISIC/observatoire/issues/882#issuecomment-636510677 , avec écrans.

Pour pouvoir trouver la cause de ce comportement anomal pour le cas de cette personne il me faut:

capture d'écran du bouton cliqué (avant le cliquer, juste la capture pour vérifier qu'il s'agit bien du bon bouton)
navigateur web utilisé et version

Il faudrait également vérifier que c'est pas un problème de droits, mais je m'en occupe de ça, je peux obtenir et le nom de l'utilisateur et ses droits.

lucaa commented 2 years ago

https://observatoire.numerique.gouv.fr/get/Macros/LivetableExporterMacroResults?outputSyntax=plain&transprefix=demarches.livetable.

Ceci ressemble beaucoup au lien qui pourrait être utilisé pour l'export du tableau de toutes les démarches, celui affiché à l'adresse https://observatoire.numerique.gouv.fr/Demarches/ en mode connecté, ainsi:

et qui fait autre chose...

lucaa commented 2 years ago

@AnthonyBrunelli @jrenaux11 Pouvez-vous vérifier si c'est bien ça le problème (mauvais bouton) ?

lucaa commented 2 years ago

De mon côté j'ai fait les exports de la plupart des démarches ci-dessus (sauf 823, pour l'instant) et ça marche, comme prévu, avec une barre de progress qui montre le reste à faire.

Le seul problème que j'ai eu c'est un problème sporadique sur Google Chrome, et je ne suis même pas sure que c'est pas un problème lié à mon setup. Des fois (pas clair quand ni pourquoi), après le lancement de l'export, le progres arrête de s'afficher correctement sur l'écran (la barre, le message de progres et le journal de la tache ne changent plus) et il y a un message dans la console de Chrome qui dit:

Access to XMLHttpRequest at 'https://observatoire.numerique.gouv.fr/get/JobMacro/JobProgressMacro?outputSyntax=plain&jobid=livetableexport%2F<idIci-redacted>&logOffset=9' from origin 'https://observatoire.numerique.gouv.fr' has been blocked by CORS policy: Response to preflight request doesn't pass access control check: No 'Access-Control-Allow-Origin' header is present on the requested resource.
Failed to load resource: net::ERR_FAILED

C'est un message difficilement explicable (pour moi), c'est comme si Chrome croyait qu'il était en train de faire une requête asynchrone cross-domain et essayait de valider que les domaines en question acceptent cette requête cross-domain. C'est pas le cas, tout est sur observatoire.numerique.gouv.fr et même dans le message de chrome les 2 domaines dont il parle sont le même...

Si ce cas arrive, vu qu'il y a un mecanisme dans la fonction d'export pour récuperer le statut d'un export en cours au lieu de lancer un nouveau, il est possible de re-récuperer le statut du export en cours ainsi:

recharger la page (ou charger dans un nouvel onglet)
click sur le même bouton d'export qu'avant
re-confirmation
à ce moment-ci, la barre de progres qui s'affiche devrait être celle de l'export en cours, et pas celle d'un nouvel export.
- Le seul cas ou un nouvel export est lancé est celui ou l'export d'avant est déjà fini avant le re-chargement du nouvel onglet (dans quel cas il est, de tout manière, nécessaire de lancer un nouvel export, car il n'y a pas d'autre moyen de récupérer le précédent)

lucaa commented 2 years ago

J'ai ouvert le ticket #1077 pour améliorer la gestion d'erreurs dans les cas spéciaux ci-dessus, mais je n'ai pas encore reproduit un problème de l'export lui-même. J'attends la confirmation de @AnthonyBrunelli @jrenaux11 pour confirmer ou pas ce ticket.

AnthonyBrunelli commented 2 years ago

Je ferme, suivi par ailleurs.

DISIC / observatoire

Bug export des avis #1076