PnX-SI / GeoNature

Application de saisie et de synthèse des observations faune et flore
GNU General Public License v3.0
104 stars 102 forks source link

"Télécharger csv" depuis OccTax #2323

Closed AudreyEnGuyane closed 1 year ago

AudreyEnGuyane commented 1 year ago

Version Version de GeoNature affectée par le bug: 2.9.2

Description du bug L'emploi du bouton "télécharger" >> csv depuis OccTax renvoie vers une page

"Internal server Error. The server encountered an internal error and was unable to complete your request. Either the server is overloaded or there is an error in the application."

La même manipulation en filtrant par jeu de données donne le même résultat... ... la plupart du temps! J'ai réussi à exporter un csv d'un jeu de données (non reproduit depuis, alors qu'aucune modification de données n'a été faite)

Comportement attendu Un fichier csv, notamment avec les champs additionnels s'il y en a au moins un associé au jdd.

Comment reproduire Filtrer un jdd sur occtax puis "Télécharger" puis "CSV"

Logs Extrait du fichier /var/log/geonature.log dans le cas d’une erreur 500.

camillemonchicourt commented 1 year ago

Je viens de tester sur le serveur de démo et sur notre GeoNature de production du PNE et ça fonctionne bien. C'est clairement un problème de performances, qui a été en partie améliorée dans la 2.10.0 avec ce ticket : https://github.com/PnX-SI/GeoNature/issues/1875

Réduction du niveau de logs de l’outil Fiona pour améliorer les performances des exports en format SIG (#1875)

Le soucis jusqu'à la 2.9 venait du fait qu'on avait un niveau de log des imports trop important qui plombait fortement les performances.

Bien sur, selon le nombre de données, le problème peut encore se produire et que le temps pour générer l'export soit trop long.

Dans tous les cas, le module Occtax reste un module de saisie avant tout, et les recherches, filtres et exports sont clairement plus le rôle du module Synthèse. Donc si on travaille sur le sujet des performances ça sera bien plus sur le module Synthèse, que le module Occtax.

Par exemple avec ce sujet en cours d'optimisation des exports dans la Synthèse : https://github.com/PnX-SI/GeoNature/issues/2303

TheoLechemia commented 1 year ago

Tu peux fournir les logs ? ça ne semble pas être un timeout mais bien une erreur du serveur

AudreyEnGuyane commented 1 year ago

Dans geonature/var/log/ ?

Dans geonature/var/log/gn_export ?

AudreyEnGuyane commented 1 year ago

C'est clairement un problème de performances

Mais il s'agit de moins de 100 données dans les jdd que j'essaie d'exporter (dont celui qui a "marché" une fois!

Dans tous les cas, le module Occtax reste un module de saisie avant tout, et les recherches, filtres et exports sont clairement plus le rôle du module Synthèse

A ce jour, seul le module OccTax me permet d'exporter les champs additionnels sous forme de colonnes... Et donc utilisable par mes agents.

TheoLechemia commented 1 year ago

Oui ceux de GeoNature, pas du module d'export (dans /var/log/geonature ou geonature/var/log)

AudreyEnGuyane commented 1 year ago

Il n’y en a pas…

TheoLechemia commented 1 year ago

Appelle moi !

joelclems commented 1 year ago

On a ça dans les logs

[2022-09-30 16:00:40 +0000] [163] [ERROR] Exception on /export/api/4 [GET] repository.get_by_id(): Empty dataset for export id 4 with id_role 1. [2023-01-30 06:38:19 +0000] [39] [CRITICAL] WORKER TIMEOUT (pid:223)