search

julienMeinas / PFE-Identification-rapide-d-ADN-duplique-dans-des-leucemies

0 stars 0 forks source link

Problème sur l'étape de filtrage #16

Open mikael-s opened 3 years ago

mikael-s commented 3 years ago

Sur P8.fastq.gz je note une grosse dégradation des performances sur le filtrage par rapport à la version de mi décembre.

Maintenant : 12 min et 35 Go RAM Sur 91275397 : 1m30s et 58 Mo RAM

Probablement une fuite de mémoire.

mikael-s commented 3 years ago

À essayer sur ma machine.

mikael-s commented 3 years ago
Portable Serveur
P10 (actuel, 377ca537) 1m10s, 8Go 2m11s, 8Go
P10 (décembre, 9127539) 14s, 68 Mo 26s, 68Mo

À noter que dans la version actuelle, le programme utilise 25 Go RAM après l'étape de filtrage.

Si vous voulez identifier quel commit a introduit ce problème vous pouvez utiliser git bisect.

mikael-s commented 3 years ago

Sur la nouvelle version, sur le serveur, avec le fichier P10 : 2m10s, 8 Go

mikael-s commented 3 years ago

Essayer avec valgrind --tool=callgrind

mikael-s commented 3 years ago

Callgrind produit un fichier, utiliser kcachegrind pour visualiser les appels.

julienMeinas commented 3 years ago

Dans la nouvelle version : P8 : 1m26s, 230 MB P10 : 21s, 153 MB

mikael-s commented 3 years ago

Sur le serveur, commit bedc90c0 : P10 : 2m6s, 8Go

C'était avec k=10

mikael-s commented 3 years ago

Avec k=15 je retrouve bien les mêmes temps que @julienMeinas.

Mais… pourquoi k=10 est si long et prend autant de mémoire ?

mikael-s commented 3 years ago

Sur P10

k=10 k=12 k=15 k=20
nhash=1 (filtrage) 3m2s, 13G 2m9s, 7.2G 1m50s, 6.2G 2m10s, 6G
nhash=1 (total) 4m34s, 40G 3m1s, 21G 2m18s, 17G 2m40s, 16G
nhash=4 (filtrage) 2m9s, 8.4G 37s, 1.1G 25s, 153M 24s, 116M
nhash=4 (total) 3m8s, 26G 45s, 3.2G 26s, 438M 26s, 339M
nhash=10 (filtrage) 2m10s, 8.4G 38s, 1.1G 26s, 153M 25s, 116M
nhash=10 (total) 3m8s, 26G 46s, 3.2G 27s, 438M 26s, 339M