search

jflucier / ILL_pipelines

Isabelle Laforest-Lapointe Laboratory code
0 stars 1 forks source link

multithread sourmash gather avec Branchwater #75

Closed jorondo1 closed 3 months ago

jorondo1 commented 3 months ago

https://github.com/sourmash-bio/sourmash_plugin_branchwater?tab=readme-ov-file

sourmash plugin pour utilisation en multithread. En gros, en ce moment la fonction Sourmash gather n'est pas parallélisée. Donc si j'ai 140 samples, j'utilise 140 cores total. Comme j'ai besoin d'une 15-aine Gb de RAM pour gather un métagénome avec l'index de GTDB, y'a beaucoup de manque à gagner car je dois utiliser au moins 70 noeuds. Avec ce plugin je pourrais utiliser tous les cores du noeud pour faire un gather ça irait solidement plus vite.

Penses-tu que je pourrais tester ça même si c'est encore en dev? Ils ne l'ont pas encore intégré à sourmash parce que Sourmash a beaucoup de commandes qu'ils veulent multithreader, mais celle qui m'intéresse est prête et supposément 100% operational.

jflucier commented 3 months ago

ok j'ajoute a mon todos et te reviens

jflucier commented 3 months ago

je viens d'ajouter le container suivant sur ip34: /home/def-ilafores/programs/ILL_pipelines/containers/sourmash.4.8.8.sif

jai upgrade sourmash v4.8.8 et installe sourmash-plugin-branchwater v0.9.3

Es-tu ok de meme pour tester ca ou je dois modif les scripts pipelines?

jorondo1 commented 3 months ago

c'est parfait comme ça pour l'instant, je vais tester ça et te revenir pour l'intégration