vincentpoitras / validation_nuage

0 stars 0 forks source link

Réduire l'utilisation de mémoire de cospin #15

Open vincentpoitras opened 1 year ago

vincentpoitras commented 1 year ago

Quand je roulais cospin, j'ai reçu ce message-là de Katja:

It seems you have 4 Python scripts running on jacta, each of them using up to 50 GB of memory. Since jacta has only 256 GB of memory for everybody (including jacta itself) this is too much.

Kaja m'a que je pouvais lancer dux tâches à la fois mais pas plus (ce qui a considérablement allonger le temps de production)

Pour usuage future, ça serait intéressant de réduire l'utilisation de mémoire du code. Je ne suis pas sûr qu'un simple "nettoyage" soit suffisant, il faudrait possibleemnt repenser la manière dont le code est écrit.

Les données de cospin ont déjà été produites, donc la priorité est pour le moment "basse", mais c'est un problème qui va revenir si on réutilise ce code dans le future.