medialab / reanalyse

django platform to explore TEI verbatims, documents & speakers within structured qualitative studies
Other
5 stars 10 forks source link

bug when loading test survey : sp1_05122012.zip #53

Closed paulgirard closed 11 years ago

paulgirard commented 11 years ago

TEI file paris_ouvrier_paraverbal2 doesn't load properly

" Entre temps j'ai chargé sur Réanalyse l'enquête sur l'Europe qui fait 299 documents (enquête #4). Pour info il semble y avoir un problème au niveau du fichier TEI "paris_ouvrier_paraverbal2", qui est considéré comme faisant -1ko. Pour en savoir plus j'ai testé uniquement ce fichier avec le modèle d'enquête.zip (enquête#5). Le fichier s'appelle ici "Paris Groupe 8", et est affiché comme faisant 802 ko. Le texte s'affiche mais pas la timeline. l'autre fichier TEI, "groupe test", ne s'affiche pas. je ne sais pas d'où vient le problème. "

paulgirard commented 11 years ago

what about allowing to update a single file in a survey ? It would be easier to correct indexing problems without having to relaod the whole survey.

Nevertheless any changes to the metadata of the survey (new file, new description...) must imply to reload the whole survey;

pierrejdlf commented 11 years ago

-1ko means the file was not found (mauvaise reference dans le meta_documents.csv) [indiqué dans les logs lors du chargement de l'enquête]

dans l'enquete sp1_05122012 (sur le serveur), j'ai donc corrigé les bourdes:

1) cdsp_bequali-sp1_col_transcr_entretiencoll_paris_ouvrier_paraverbal2_dl.xml renommé en: cdsp_bequali_sp1_col_transcr_entretiencoll_paris_ouvrier_paraverbal2_dl.xml

2) cdsp_bequali_prep_admi_budget_paris_defraiement_justif_dl.pdf renommé en: cdsp_bequali_sp1_prep_admi_budget_paris_defraiement_justif_dl.pdf

pierrejdlf commented 11 years ago

à propos du "load a single file": change énormément de choses, car la racine d'une enquête est vraiment le dossier "_meta", qui référence tous les fichiers. ajouter poco-a-poco des fichiers necessiterai mettre à jour la liste des speakers, des docs, etc... aaargh !

je propose qu'on reste sur des enquêtes complètes en boite

1) mode debug actuel, pour les 3/4 enquêtes on load les enquêtes depuis dossiers présents sur serveur modifiant coup à coup les fichiers quand il y a bugs de structuration (cf commentaire précédent)

2) mode prod on suppose que les enquetes sont bien formées

paulgirard commented 11 years ago

Non on pensait juste à mettre à jour un des fichiers déjà présents. Genre tu as un fichier dans _meta qui s'appelle toto.xml l'indexation plante sur ce ficheir car il est mal-formé.

Plutôt que de recharger toute l'enquête, on recharge que le fichier toto.xml

Si c'est facile à faire. Si c'est compliqué à mettre en new feature

pierrejdlf commented 11 years ago

pour reparsing d'un document TEI seul, voir: https://github.com/medialab/reanalyse/issues/58