precprocess slurm parameters

[jflucier]

@jorondo1 j'aimerais savoir quelle parametres slurms par defaut on devrait setter pour l'etape kneaddata

jai mis ces parametres en attendant ta reponse:

export PREPROCESS_SLURM_WALLTIME="12:00:00"
export PREPROCESS_SLURM_NBR_THREADS="24"
export PREPROCESS_SLURM_MEMORY="30G"

[jflucier]

meme demande concernant le taxonomic profile avec kraken:

export TAXONOMIC_SLURM_WALLTIME="24:00:00"
export TAXONOMIC_SLURM_NBR_THREADS="24"
export TAXONOMIC_SLURM_MEMORY="125G"

[jorondo1]

Pour kraken j'avais testé ~30min par sample avec 48 cores 250 G pour être sur les large nodes. Je sais pas à quel point ça scale linéaire donc je sais pas si ça change dequoi prendre 24 cores 125G et avoir 2x plus de samples qui roulent en même temps, faudrait tester pour optimiser. Mais bref, quelques heures de walltime suffiront.

Pour kneaddata c'est good mais mets 24h y'a une grosse variabilité d'un sample à l'autre

[jflucier]

Je sais pas à quel point ça scale linéaire donc je sais pas si ça change dequoi prendre 24 cores 125G et avoir 2x plus de samples qui roulent en même temps, faudrait tester pour optimiser. Mais bref, quelques heures de walltime suffiront.

je prioriserait 125G ram si ca passe car on a acces a plus de noeud de calcul.

Ceci dit ce sont des valeurs par defaut qui peuvent etre modifier facilement via la config. On resettera ca pour de meilleur valeur une fois que l'on aura analyse avec plusierus runs.