search

jflucier / ILL_pipelines

Isabelle Laforest-Lapointe Laboratory code
0 stars 1 forks source link

maxbin plante, semble manquer un chemin #60

Closed jorondo1 closed 11 months ago

jorondo1 commented 1 year ago

Salut! Voir la fin de ce log, as-tu une idée comment fixer ça? /net/nfs-ip34/home/def-ilafores/analysis/boreal_moss/coassembly/logs/assembly_bin_refinement-1181891_1.slurm.out

c'est étrange parce que j'ai certain assembly qui fonctionnent, mais plusieurs ne fonctionnent pas.

Mon script:

/net/nfs-ip34/home/def-ilafores/analysis/boreal_moss/coassembly/assembly_bin_refinement.metawrap.slurm.sh

ps je tweak les allocations slurm parce que j'ai concaténé des samples ensemble pour augmenter la quualité des assemblages.

jflucier commented 1 year ago

effectivement bizarre. Va essayer de checker ca aujourd'hui

jflucier commented 1 year ago

jai lance un test avec tes fastq direct sur le serveur et ca passe.

########################################################################################################################
#####                                BIN_REFINEMENT PIPELINE FINISHED SUCCESSFULLY!                                #####
########################################################################################################################

real    34m43.365s
user    152m21.476s
sys     8m38.135s
adding sample name to bin filename
copying results to /home/def-ilafores/analysis/boreal_moss/coassembly/jfl/ with throttling
metawrap assembly pipeline done

Voici les commandes:

cd /net/nfs-ip34/home/def-ilafores/analysis/boreal_moss/coassembly
bash /home/def-ilafores/programs/ILL_pipelines/scripts/fastq_to_bins.metawrap.sh -o /home/def-ilafores/analysis/boreal_moss/coassembly/jfl/ -tmp /fast/def-ilafores/temp -t 48 -m 200G -s Brown_AA -fq1 /home/def-ilafores/analysis/boreal_moss/cat_reads/Brown_AA_1.fastq -fq2 /home/def-ilafores/analysis/boreal_moss/cat_reads/Brown_AA_2.fastq --metaspades --megahit --metabat2 --maxbin2 --concoct --run-checkm --refinement_min_compl 50 --refinement_max_cont 10

je suspecte que tu bust la memoire.... peux-tu reessayer en utilisant 48 threads et 251G ram pour les echantillons qui plante?

jflucier commented 1 year ago

gen ton script sbatch de slurm avec ces options:

bash /home/def-ilafores/programs/ILL_pipelines/generateslurm_assembly_bin_refinement.metawrap.sh --slurm_threads 48 --slurm_mem 251G

si c pas assez: bash /home/def-ilafores/programs/ILL_pipelines/generateslurm_assembly_bin_refinement.metawrap.sh --slurm_threads 48 --slurm_mem 500G

jflucier commented 1 year ago

update:

je viens de reessayer un autre sample en local sur ip34 et ca passe

J'attend toujours que la tache tourne sur le fat node a 500G ram

jorondo1 commented 1 year ago

je pense aussi que c'était un bust de mémoire, je pensais que c'était correct je mettre

#SBATCH --time=24:00:00
#SBATCH --mem=500G
#SBATCH -n 48

dans mon slurm script header

As-tu testé? Ça fonctionne?

jflucier commented 1 year ago

ca fonctionne en local et selon le log, cette job a passe /net/nfs-ip34/home/def-ilafores/analysis/boreal_moss/coassembly/logs/assembly_bin_refinement-1646098_1.slurm.out

faudrait que je relance pour m'en assurer, ca pris trop de temps avant d'etre lance cette job et perdu le focus avec le temps.

pas beaucoup de noeud 500G, dans ce cas quasiment mieux de lance direct sur ip34 avec par exemple 124 thread et 500G ram. Tu pourrais lance 3 jobs en parralele et ca laisserait 500G et 24 threads pour les autres users du serveur

jflucier commented 1 year ago

en local jai lance ces 2 commande et ca l'a passe:

## issues 60
bash /home/def-ilafores/programs/ILL_pipelines/scripts/fastq_to_bins.metawrap.sh \
-o /home/def-ilafores/analysis/boreal_moss/coassembly/jfl/ \
-tmp /fast/def-ilafores/temp \
-t 48 -m 200G \
-s Brown_AA \
-fq1 /home/def-ilafores/analysis/boreal_moss/cat_reads/Brown_AA_1.fastq \
-fq2 /home/def-ilafores/analysis/boreal_moss/cat_reads/Brown_AA_2.fastq \
--metaspades --megahit \
--metabat2 --maxbin2 --concoct --run-checkm \
--refinement_min_compl 50 --refinement_max_cont 10

bash /home/def-ilafores/programs/ILL_pipelines/scripts/fastq_to_bins.metawrap.sh \
-o /home/def-ilafores/analysis/boreal_moss/coassembly/jfl/ \
-tmp /fast/def-ilafores/temp \
-t 24 -m 200G \
-s Brown_AB \
-fq1 /home/def-ilafores/analysis/boreal_moss/cat_reads/Brown_AB_1.fastq \
-fq2 /home/def-ilafores/analysis/boreal_moss/cat_reads/Brown_AB_2.fastq \
--metaspades --megahit \
--metabat2 --maxbin2 --concoct --run-checkm \
--refinement_min_compl 50 --refinement_max_cont 10
jorondo1 commented 1 year ago

j'essaie ça live, mais je pense avoir un problème de permissions. Pour mon premier essai j'ai l'erreur cp: cannot create regular file '/fast/def-ilafores/temp/Brown_AB_1.fastq': Permission denied et pour mon deuxième (avec Brown_AA), la copie des fastq fonctionne, mais j'ai l'erreur cp: cannot create regular file '/fast/def-ilafores/temp/metawrap.1.3.sif': Permission denied

jflucier commented 1 year ago

as-tu fait ton newgrp avant?

les perm pour ce repertoire sont:

drwxrwxr-x 5 jflucier def-ilafores 12 Sep 7 11:49 temp

jorondo1 commented 1 year ago

je vois ces permissions là oui. Si j'ai fait newgrp et qu'ensuite j'ouvre une session tmux est-ce que je dois normalement le refaire ?

mais non même en le refaisant j'ai l'erreur avec le metawrap sif

jorondo1 commented 1 year ago

aussi, est-ce qu'il risque d'avoir un problème si je pars trois samples en parallèle comme tu me suggèrais plus haut, si le pipeline recopie le metawrap.sif à chaque itération dans le dossier /fast/def-ilafores/temp ?

jflucier commented 1 year ago

ouin faudrait le partir avec 3 temps differents

c quoi exactement la commande que tu pars et a partir de quel repertoire?

je vais debug ca directement en me loggant comme toi.

jorondo1 commented 1 year ago

celle que tu m'as suggérée en haut:

sample=Brown_AB
bash /home/def-ilafores/programs/ILL_pipelines/scripts/fastq_to_bins.metawrap.sh \
    -o /home/def-ilafores/analysis/boreal_moss/coassembly \
    -tmp /fast/def-ilafores/temp \
    -t 124 -m 500G \
    -s ${sample} \
    -fq1 /home/def-ilafores/analysis/boreal_moss/cat_reads/${sample}_1.fastq \
    -fq2 /home/def-ilafores/analysis/boreal_moss/cat_reads/${sample}_2.fastq \
    --metaspades --megahit \
    --metabat2 --maxbin2 --concoct --run-checkm \
    --refinement_min_compl 50 --refinement_max_cont 10
jflucier commented 1 year ago

deja a 124 thread ca peut pas fonctionne... ca passait avec 200G ram

je test ca et te reviens

jflucier commented 1 year ago

je comprend pas trop ce qui se passe...

je viens de lance sous ton nom et ca passe:

Thu 07 Sep 2023 03:31:15 PM EDT --> [ CCSUDO - ronj2303 ]                                               
[ronj2303@ip34-rockylinux8 ~]$ newgrp def-ilafores                                                      

Thu 07 Sep 2023 03:31:26 PM EDT --> [ CCSUDO - ronj2303 ]                                               
[ronj2303@ip34-rockylinux8 ~]$ cd /home/def-ilafores/analysis/boreal_moss/assembly                      

Thu 07 Sep 2023 03:31:34 PM EDT --> [ CCSUDO - ronj2303 ]                                               
[ronj2303@ip34-rockylinux8 assembly]$ sample=Brown_AB                                                   

Thu 07 Sep 2023 03:31:42 PM EDT --> [ CCSUDO - ronj2303 ]                                               
[ronj2303@ip34-rockylinux8 assembly]$ bash /home/def-ilafores/programs/ILL_pipelines/scripts/fastq_to_bi
ns.metawrap.sh \                                                                                        
> -o /home/def-ilafores/analysis/boreal_moss/coassembly \                                               
> -tmp /fast/def-ilafores/temp \                                                                        
> -t 24 -m 200G \                                                                                       
> -s ${sample} \                                                                                        
> -fq1 /home/def-ilafores/analysis/boreal_moss/cat_reads/${sample}_1.fastq \                            
> -fq2 /home/def-ilafores/analysis/boreal_moss/cat_reads/${sample}_2.fastq \                            
> --metaspades --megahit \                                                                              
> --metabat2 --maxbin2 --concoct --run-checkm \                                                         
> --refinement_min_compl 50 --refinement_max_cont 10                                                    
## Sample name: Brown_AB                                                                                
## Results wil be stored to this path: /home/def-ilafores/analysis/boreal_moss/coassembly               
# Will use the following assembly programs: --metaspades --megahit                                      
# Will use the following binning programs: --metabat2 --maxbin2 --concoct --run-checkm                  
analysing sample Brown_AB with metawrap                                                                 
fastq1 path: /home/def-ilafores/analysis/boreal_moss/cat_reads/Brown_AB_1.fastq                         
fastq2 path: /home/def-ilafores/analysis/boreal_moss/cat_reads/Brown_AB_2.fastq                         
Assembly options: --metaspades --megahit                                                                
Binning options: --metabat2 --maxbin2 --concoct --run-checkm                                            
Minimum completion percent: 50                                                                          
Maximum contamination percent: 10                                                                       
Threads: 24                                                                                             
....
------------------------------------------------------------------------------------------------------------------------
-----                       Looks like there is a index of the assembly already. Skipping...                       -----
------------------------------------------------------------------------------------------------------------------------

------------------------------------------------------------------------------------------------------------------------
-----                      skipping aligning Brown_AB_paired_sorted reads to assembly because                      -----
-----                     /out/binning//work_files/Brown_AB_paired_sorted.bam already exists.                      -----
------------------------------------------------------------------------------------------------------------------------

########################################################################################################################
#####                                               RUNNING METABAT2                                               #####
########################################################################################################################

------------------------------------------------------------------------------------------------------------------------
-----                                          making contig depth file...                                         -----
------------------------------------------------------------------------------------------------------------------------

Output depth matrix to /out/binning//work_files/metabat_depth.txt
Output matrix to /out/binning//work_files/metabat_depth.txt
Opening 1 bams
Consolidating headers
Processing bam files
....

je te fais signe quand ca termine

jorondo1 commented 1 year ago

ca fonctionne en local et selon le log, cette job a passe /net/nfs-ip34/home/def-ilafores/analysis/boreal_moss/coassembly/logs/assembly_bin_refinement-1646098_1.slurm.out

faudrait que je relance pour m'en assurer, ca pris trop de temps avant d'etre lance cette job et perdu le focus avec le temps.

pas beaucoup de noeud 500G, dans ce cas quasiment mieux de lance direct sur ip34 avec par exemple 124 thread et 500G ram. Tu pourrais lance 3 jobs en parralele et ca laisserait 500G et 24 threads pour les autres users du serveur

j'y allais à 124 parce que c'est ce que t'avais écrit ici ! sûrement une faute de frappe. Donc on a 96 threads total sur ip34 si je comprends bien, d'où ta suggestion d'en partir 3 à 24 chaque.

La commande a l'air à fonctionner maintenant.

jflucier commented 12 months ago

la commande suivante a passe avec succes: ` |18:31:00|jflucier@ip34-rockylinux8:[assembly]> bash /home/def-ilafores/programs/ILL_pipelines/scripts/fastq_to_bins.metawrap.sh -o /home/def-ilafores/analysis/boreal_moss/coassembly -tmp /fast/def-ilafores/temp -t 24 -m 200G -s ${sample} -fq1 /home/def-ilafores/analysis/boreal_moss/cat_reads/${sample}_1.fastq -fq2 /home/def-ilafores/analysis/boreal_moss/cat_reads/${sample}_2.fastq --metaspades --megahit --metabat2 --maxbin2 --concoct --run-checkm --refinement_min_compl 50 --refinement_max_cont 10

`

jai tourne ca sous ton nom. Je crois que ce bug est regle. Reouvre le ticket si c pas le cas.

jorondo1 commented 12 months ago

moi aussi ça fonctionne bien j'en ai plusieurs de complétés. Est-ce que ça devrait fonctionner sur les noeuds finalement avec mes coassembly??

jflucier commented 12 months ago

je l'essayerais. Je vois pas pk ca fonctionnerait pas.

reouvre ce ticket si ca plante tks

jorondo1 commented 12 months ago

Un problème persiste, tous mes arrays partent en mode throttle, aucun ne décolle. Voir job 1674185

Ma commande était : sbatch --array=12-16,24-33,43-50 /nfs3_ib/nfs-ip34/home/def-ilafores/analysis/boreal_moss/coassembly/assembly_bin_refinement.metawrap.slurm.sh (en lien avec l'autre issue que je viens d'ouvrir, j,ai modifié ce script à la main)

jorondo1 commented 12 months ago

voir les logs: /nfs3_ib/nfs-ip34/home/def-ilafores/analysis/boreal_moss/coassembly/logs/assembly_binrefinement-1674185*.slurm.out

jflucier commented 12 months ago

jai deleter le contenu de /nfs3_ib/nfs-ip34/home/def-ilafores/analysis/boreal_moss/coassembly/.throttle/ et ca semble avoir debugger.

possible que tu aie fait un scancel avant avec des jobs de parti?

va essayer de rendre ca plus solide

jorondo1 commented 12 months ago

oui j'avais cancel des jobs. J'ai encore du trouble sur les noeuds avec Maxbin, j'ai aucune job qui termine. Il a de la misère à trouver certaines dépendancesn pour MAxbin, des fois c'est Bowtie des fois Fracgenscan, voir : tail -n 20 coassembly/logs/assembly_bin_refinement-1674257_2*.slurm.out

jflucier commented 12 months ago

jai rendu le truc plus solide en faisant du error trapping donc ca devrais en parti regle le bug du dossier .throttle

je vais checker ce bug de dep sous peu

jflucier commented 11 months ago

je viens de faire mini patch et relance les failed jobs: sbatch --array=23-29 $PWD/assembly_bin_refinement.metawrap.slurm.sh en esperant que ca passe. C bizarre comme bug, c comme si il y as un probleme de concurrence.

Je fais maintenant un cd dans le $tmp avant les call singularity. On verra!

jflucier commented 11 months ago

ca l'air d'avoir tout passe sans erreur.

Il restement seulement la job 23 qui a pas temriner encore. Voir les logs:

tail /nfs3_ib/nfs-ip34/home/def-ilafores/analysis/boreal_moss/coassembly/logs/assembly_bin_refinement-1674607_*.slurm.out

Close ce ticket si tu vois que c ok stp

jflucier commented 11 months ago

la job 23 viens de termine

jorondo1 commented 11 months ago

j'ai encore du trouble ici: coassembly/logs/assembly_bin_refinement-1677108_42.slurm.out coassembly/logs/assembly_bin_refinement-1677108_32.slurm.out coassembly/logs/assembly_bin_refinement-1677108_31.slurm.out

Cannot run Bowtie2. Please indicate the file directory in 'setting' file.

Ça vient de ce qui qui roule sur les noeuds en ce moment: sbatch --array=11-16,23,29-34,36,41-50 /nfs3_ib/nfs-ip34/home/def-ilafores/analysis/boreal_moss/coassembly/assembly_bin_refinement.metawrap.slurm.sh je ne vois pas les 23-29 que tu as fait? 23 (Brown_Z) semble s'être rendu, mais pas l'array 26 par exemple...

jorondo1 commented 11 months ago

aucun de ces jobs n'a fonctionné... :( Est-ce qu'il faut que je regénère mon script depuis ton patch ?

jflucier commented 11 months ago

Il y a des echantillons sans bin, c'est popur ca que tu as pas de resultat .Check le log 

|08:01:30|jflucier@ip34-rockylinux8:[coassembly]> less /nfs3_ib/nfs-ip34/home/def-ilafores/analysis/boreal_moss/coassembly/logs/assembly_bin_refinement-1674607_26.slurm.out
....
************************************************************************************************************************
*****                      Warning: /out/bin_refinement/ already exists. Attempting to clean.                      *****
************************************************************************************************************************

rm: cannot remove '/out/bin_refinement//binsA': No such file or directory
rm: cannot remove '/out/bin_refinement//binsB': No such file or directory
rm: cannot remove '/out/bin_refinement//binsC': No such file or directory
rm: cannot remove '/out/bin_refinement//binsAB': No such file or directory
rm: cannot remove '/out/bin_refinement//binsBC': No such file or directory
rm: cannot remove '/out/bin_refinement//binsAC': No such file or directory
rm: cannot remove '/out/bin_refinement//binsABC': No such file or directory
rm: cannot remove '/out/bin_refinement//bin.*': No such file or directory
Skipping /out/binning/metabat2_bins//bin.5.fa because the bin size is not between 50kb and 20Mb
Skipping /out/binning/metabat2_bins//bin.6.fa because the bin size is not between 50kb and 20Mb
Skipping /out/binning/metabat2_bins//bin.unbinned.fa because the bin size is not between 50kb and 20Mb

------------------------------------------------------------------------------------------------------------------------
-----                                           there are 4 bins in binsA                                          -----
------------------------------------------------------------------------------------------------------------------------

Skipping /out/binning/maxbin2_bins//bin.0.fa because the bin size is not between 50kb and 20Mb
Skipping /out/binning/maxbin2_bins//bin.1.fa because the bin size is not between 50kb and 20Mb

------------------------------------------------------------------------------------------------------------------------
-----                                           there are 0 bins in binsB                                          -----
------------------------------------------------------------------------------------------------------------------------

************************************************************************************************************************
*****                                    Please provide valid input. Exiting...                                    *****
************************************************************************************************************************

real    0m1.424s
user    0m0.135s
sys     0m0.164s
++ __error_handing__ 1
++ local last_status_code=1
++ rm -f /nfs3_ib/nfs-ip34/home/def-ilafores/analysis/boreal_moss/coassembly//.throttle/throttle.start.Green_AC.txt
++ rm -f /nfs3_ib/nfs-ip34/home/def-ilafores/analysis/boreal_moss/coassembly//.throttle/throttle.end.Green_AC.txt
++ exit 1
done metawrap pipeline on Green_AC
jflucier commented 11 months ago

aucun de ces jobs n'a fonctionné... :( Est-ce qu'il faut que je regénère mon script depuis ton patch ?

jai patcher le code donc si la job etait deja en train d'exec tu as pas la derniere version du code qui roulait

jorondo1 commented 11 months ago

Oui j'avais lancé ça après la patch mais je n'avais pas regénéré mon script avec la commande slurm. J'ai 0/25 échantillons qui ont fonctionnés sur cette job, je sais que la majorité d'entre eux produisent des bins ça ne devrait pas planter. Ça dit Maxbin did not produce a single bin mais c'est parce qu'il plante en essayant de run FragGeneScan ou Bowtie2 dans toutes les jobs

jorondo1 commented 11 months ago

voir grep 'Please indicate the file directory' /nfs3_ib/nfs-ip34/home/def-ilafores/analysis/boreal_moss/coassembly/logs/*1677108* tout ça a été le 16 septembre 2 jours après la pathch

jflucier commented 11 months ago

on a pas le meme resultat sai c moi out oi qui lance....

meme job par moi ca passe: /nfs3_ib/nfs-ip34/home/def-ilafores/analysis/boreal_moss/coassembly/logs/assembly_bin_refinement-1674607_23.slurm.out

par toi: /nfs3_ib/nfs-ip34/home/def-ilafores/analysis/boreal_moss/coassembly/logs/assembly_bin_refinement-1677108_23.slurm.out: Cannot run Bowtie2. Please indicate the file directory in 'setting' file.

on doit se parler avec share screen.

jorondo1 commented 11 months ago

Ça persiste: /nfs3_ib/nfs-ip34/home/def-ilafores/analysis/boreal_moss/test_reads/test_assembly/logs/assembly_bin_refinement-1677615_1.slurm.out Launch avec sbatch --array=1 /nfs3_ib/nfs-ip34/home/def-ilafores/analysis/boreal_moss/test_reads/assembly_bin_refinement.metawrap.slurm.sh

jflucier commented 11 months ago

jai lance ca sous mon user:

sbatch --array=1 /nfs3_ib/nfs-ip34/home/def-ilafores/analysis/boreal_moss/test_reads/assembly_bin_refinement.metawrap.slurm.sh

ca donne ceci: tail -f /nfs3_ib/nfs-ip34/home/def-ilafores/analysis/boreal_moss/test_reads/test_assembly/logs/assembly_bin_refinement-1677652_1.slurm.out

tout passe.... ca resemble a un bug de config sous ton compte. Je vais relancer sous ton user....

quand meme lon l'exec malgre la reduction des fastq

jorondo1 commented 11 months ago

ouais c'est lourd l'assemblage... c'est vraiment weird comme bogue! tiens-moi au courant, je vais éventuellement co-assembler du stock provid aussi donc aussi bien régler ça

jflucier commented 11 months ago

bon finalement ca fonctionne, tu peux partir tes jobs!

J'ai carrement modifier le code perl run_maxbin2.pl pour que ca fonctionne. J'ai enleve la fonction qui check si les soft sont bien installe. Ca regle tout les bugs.