RabbitBio / RabbitQCPlus

A more efficient quality control tool for sequencing data
MIT License
21 stars 2 forks source link

运行时遇到卡顿问题 #4

Closed Qingyang-Huang closed 1 year ago

Qingyang-Huang commented 1 year ago

您好我在多线程下运行时遇到了卡顿问题,结果文件不更新,也不报错,使用top查看CPU利用率只有10%左右,下图展示的是16线程下运行一段时间的top结果 image 单线程下可以正常运行结束退出 我使用gdb打断点查找可能的卡住的原因可能是在PeQc::WriteSeFastqTask1()和void PeQc::WriteSeFastqTask2()位置,具体debug结果如下图: image

yanlifeng commented 1 year ago

您好!

感谢使用我们的软件,请问可以提供一下详细的运行环境和运行参数吗?比如操作系统,编译器版本,文件规模/是否压缩等。

Qingyang-Huang commented 1 year ago

您好 我使用的是centOS7,gcc9.3.1, 文件是PE150的fq.gz, 需要压缩

yanlifeng commented 1 year ago

您好! 感谢您发现的问题,我们初步判断是pugz解压缩不稳定的原因,我们正在修复这个问题,如果您着急使用的话可以用igzip解压缩引擎(使用方法见https://github.com/RabbitBio/RabbitQCPlus/blob/master/use_igzip),igzip相比pugz有20%左右的性能损失,但是它资源占用少,可以省出更多的线程用给压缩引擎。

Qingyang-Huang commented 1 year ago

您好,请问已经复现到问题了吗

yanlifeng commented 1 year ago

您好! 我们已经复现出了这个问题,其根本原因是pugz解压缩引擎出现了问题,导致后面QC线程和write线程没有可以处理的数据,所以看起来卡在了WriteSeFastqTask这个函数这里,我们正在解决这个解压缩引擎的问题。 但是我们复现的过程中出现该问题的几率很小,不好调试,如果您能提供一下详细的命令行运行参数和数据(如果方便的话,比如可下载的地址)将会加速我们解决该问题的速度。 祝好!

Qingyang-Huang commented 1 year ago

您好 已经发送到您的邮箱lifeng.yan@mail.sdu.edu.cn,请查收

Qingyang-Huang commented 1 year ago

您好,这个问题解决了吗

yanlifeng commented 1 year ago

您好,再次感谢您为我们提供测试数据。 我们定位到这个出错的原因是pugz不能正常解压缩这个文件,我们测试了原生的pugz也存在该问题。我们正在追踪更深层次的bug产生的原因,但是目前还没有明确定位到该bug,由于pugz的代码逻辑比较复杂我们还要花一些时间来修复这个问题。 在此之前您可以使用RabbitQCplus中的igzip压缩引擎来处理数据(使用方法见https://github.com/RabbitBio/RabbitQCPlus/blob/master/use_igzip)。 再次感谢您对我们工作的支持,我们在修复该问题后会第一时间通知您。 祝好!

yanlifeng commented 1 year ago

您好,这个问题我们已经在最新的代码中解决了,再次感谢您提供的数据! 祝好!