search

Inist-CNRS / lodex

Linked Open Data EXperiment
https://www.lodex.fr/
Other
55 stars 13 forks source link

import et chargement de données bloqués #2211

Open touv opened 1 week ago

touv commented 1 week ago

Décrire le bogue L'import d'un fichier ou d'une requête est soudainement bloqué. Lorsque je clique sur le bouton « importer les données » rien ne se passe, l’instance semble figé.

Reproduire Étapes pour reproduire le comportement :

inconnu

touv commented 1 week ago

La suppression des taches de fond, Vider le cache, redémarrer le navigateur, ces actions semblent ne pas résoudre le problème

touv commented 1 week ago

Dans les logs des taches de fond on observe une erreur laconique image

touv commented 1 week ago

Pour le moment, la meilleure manière de résoudre en production le problème est de recréer un container (ce qui évite la rupture de service). A tester si un simple stop/start pourrait résoudre le pb...

touv commented 1 week ago

un aspect étonnant de ce problème est qu'il touche exclusivement une instance, les autres peuvent continuer de faire des imports normalement

AnaelKremer commented 1 week ago

cette instance avait elle interrogé l'API d'OpenAlex ?

touv commented 1 week ago

cette instance avait elle interrogé l'API d'OpenAlex ?

à priori oui, nous avons également un deuxième signalement avec le chargement d'un fichier CSV

touv commented 1 week ago

:lady_beetle: le même import via le mode personnalisé (sans rien changé) pourrait fonctionner

AnaelKremer commented 1 week ago

cette instance avait elle interrogé l'API d'OpenAlex ?

à priori oui, nous avons également un deuxième signalement avec le chargement d'un fichier CSV

Ok, je crois savoir de quelle instance il s'agit, l'import de CSV avait été fait après le bug pour voir si un autre format était accepté.

J'avais déjà rencontré ce problème plusieurs fois, toujours après des interrogations de l'API OpenAlex, mais de 2 façons différentes :

Dans les 2 cas, il n'était plus possible ni de charger quoique ce soit d'autre, ni de supprimer l'instance. Il y avait un problème de loop qui ne s'arrêtait pas à l'époque mais tu avais fait un fix. Je n'ai depuis plus rencontré ce problème...

Pour supprimer ces instances, j'ai attendu qu'une version supérieure de Lodex existe, j'ai tenté la suppression dans la version la plus récente, car elle supprime toutes les mêmes intances des containers en versions inférieures, et ça avait fonctionné.

cguele commented 1 week ago

J'ai rencontré le même problème hier : chargement OpenAlex via l'API qui s'interrompt sans possibilité de recharger l'instance. Les logs sont vides mais les fichiers en cache suite à l'interrogation sont bien présents - mon instance est également vide

AnaelKremer commented 1 week ago

Le bug de Christa s'est produit sur une version 14.0.62 avec le loader Openalex by txt dans le catalogue. Je lui ai donné un loader avec buffer et clé API ça n'a pas plus marché, on parle de 118 000 notices. Il y a quelques semaines je pouvais en récupérer plus de 400 000 via cette méthode.

J'ai testé un ptit corpus avec le même loader sur une 14.0.64 ça fonctionne, j'ai ensuite testé la requête de Christa avec une année en moins pour passer en dessous de 100 000 ça a bloqué aussi... Plus possible de charger autre chose sur les 2 instances désormais.

Année par année, environ 23000 notices, les 2 loaders fonctionnent. Ca parait donc être la volumétrie qui pose problème.

touv commented 1 week ago

Ok, vous êtes sur quelle machine ?

touv commented 1 week ago

A priori, si le chargement plante, il bloque la file d'attente (bull) et celle-ci reste bloquée pour l'instance en question. Si on supprime le job manuellement ou via la suppression des taches de fond, la file reste bloquée.

Pour tenter de mieux comprendre le problème, la prochaine version activera par défaut les logs ezs. Ce qui permettra d'avoir la raison de l’arrêt de loader. #2219

Si par hasard, le problème était lié à un bug bull, le package va être mise à jour #2220

touv commented 2 days ago

La fil d'attente est bloquée à partir du moment ou le serveur redémarre automatiquement suite à arret pour dépassement de mémoire image

touv commented 2 days ago

Le second problème fait l'objet d'une issue séparée https://github.com/Inist-CNRS/lodex/issues/2230

touv commented 2 days ago

Le premier problème devrait être corrigé avec cette https://github.com/Inist-CNRS/lodex/pull/2233