search

jflucier / ILL_pipelines

Isabelle Laforest-Lapointe Laboratory code
0 stars 1 forks source link

multiQc integration #33

Closed jorondo1 closed 2 years ago

jorondo1 commented 2 years ago

j'aimerais intégrer MultiQc au pipeline, un aggrégateur de Quality control reports. Il doit rouler une fois seulement, après que tous les samples aient passé le preprocess (1x/study). En gros ça cherche tous les reports de fastqc et ça output un seul fichier avec des stats très complètes pour tout le study.

C'est ultra simple, une seule commande qui ressemblerait à multiqc ${OUTPUT_PATH}/${PREPROCESS_OUTPUT_NAME}/*/fastqc/ --outdir ${OUTPUT_PATH}. Est-ce qu'on serait capable de le faire partir automatiquement après que tous les samples aient passé le preproc?

bonus : envoyer le fichier (output de multiqc) par courriel automatiquement, vu que c'est un html ?

jflucier commented 2 years ago

je vais integrer sous peu.

jutilise multiqc dans plusieurs de mes autres projets.

jflucier commented 2 years ago 
conda activate multiqc
cd /path/to/analysis
multiqc .

Ceci va te generer les rapports multiqc. Apres avoir rechecker les pipelines, c'est juste plus simple que tu call multiqc apres avoir fait les analyses directement

Il devrait integrer les rapports fastqc de kneadata, quast de l'assemblage, prokka, etc

Voir la liste ici

Comme exemple, jai roule le multiqc a partir de ce repertoire /nfs3_ib/ip29-ib/ip29/ilafores_group/projet_PROVID19

Une fois executer ca indique ceci:

Mon 15 Aug 2022 11:48:30 AM EDT --> [ CCSUDO - ronj2303 ] 
(multiqc) [ronj2303@ip29-mp2 projet_PROVID19]$ multiqc .

  /// MultiQC 🔍 | v1.13.dev0

|           multiqc | Search path : /nfs3_ib/ip29-ib/ip29/ilafores_group/projet_PROVID19
|         searching | ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 24611/24611  
|            kraken | Found 432 reports
|       trimmomatic | Found 54 logs
|             fastp | Found 1 reports
|            fastqc | Found 325 reports
|           multiqc | Compressing plot data
|           multiqc | Report      : multiqc_report.html
|           multiqc | Data        : multiqc_data
|           multiqc | MultiQC complete
|           multiqc | 9 flat-image plots used in the report due to large sample numbers
|           multiqc | To force interactive plots, use the '--interactive' flag. See the 
documentation.

il y avait bcp de backups de tests je crois dans ce repertoire ce qui a amplifier le nombre de report aggrege dans le rapport multiqc.

Tu peux le forcer a seulement considerer quelques repertoire en l'appeleant de cete facon:

multiqc ./preprocess/ ./taxonomic_profile/ ./functionnal_profile/ ./denovo_assembly/

jorondo1 commented 2 years ago

oh wow c'est sic comme outil je réalisais pas que ça en intégrait autant ! merci pour les commandes