search

medialab / reanalyse

django platform to explore TEI verbatims, documents & speakers within structured qualitative studies
Other
5 stars 10 forks source link

memory load on Server #49

Closed paulgirard closed 11 years ago

paulgirard commented 11 years ago

Server seems to have overload problem. Although we are using same hard configuration as before. Please track bottleneck and propose new configuration if needed.

1.2- Apparemment problème de mémoire ou de réactivité du serveur ?

Le site a tendance à ramer (parfois sérieusement) depuis plusieurs jours/semaines. Je prends comme référence l'enquête.zip qui sert de modèle sur la page Méthode du site : parfois elle s'uploade très bien, parfois ça bloque au niveau du parsage des fichiers TEI. Par exemple l'enquête test que j'ai uploadée mardi soir est toujours bloquée à 33 % mercredi après midi....

Indiquer des pistes d'amélioration

pierrejdlf commented 11 years ago

à propos de la lourdeur du process de parsing : j'ouvre une issue "Parsing & XSLT"...

pierrejdlf commented 11 years ago

de +, update: l'indexation solr des verbatims s'effectue désormais 1e seule fois, lorsque tous les docs ont été chargés. ... et non après chacun

. cela évite les update_solr_index à répétition (lourds en temps machine) en particulier lq plusieurs enquêtes sont chargées simultanément . nb: il faut donc attendre la fin du chargmt de l'enquête pour utiliser la fonction "recherche"