search

starskyzheng / panpop

Application of pan-genome for population
MIT License
87 stars 8 forks source link

程序一直卡在building dag of jobs #34

Closed YuanCao1996 closed 3 months ago

YuanCao1996 commented 5 months ago

郑博士，您好

我在跑snakemake的时候 400个个体的重测序数据往构建好的pangenome上面mapping 跑一天左右，程序还在building dag of jobs 程序自动自杀 这是什么原因导致呢？

1024e522fb50a69735fbdc31325bbbf

其中，服务器的cpu是充足的 使用-j 60 80 是可以的

085ea390df3509cbff59bd3d2148f82
YuanCao1996 commented 5 months ago

使用了这个400个数据的一个子集35个个体 跑的很顺利 但是增加样本量到400程序自动自杀

starskyzheng commented 5 months ago

估计是snakemake使用内存太大了。您试试增加内存配给试试？

starskyzheng commented 5 months ago

另外，加上--dry-run参数试一下，看看是不是一样报错？ 还可以用/usr/bin/time监测一下运行内存占用

YuanCao1996 commented 4 months ago

我们现在的服务器内存是1T，请问需要加到多少呢？

YuanCao1996 commented 4 months ago

还想请问一下，他们牦牛那篇文章的数据量大概算了多久呢？我们这边选取了30个样本，已经算了快半个月了，才算到结果文件的第6和第7步结果

starskyzheng commented 4 months ago

1T应该是够的，但是这个程序被杀的原因我也不清楚。

牦牛的我用了10个节点，服务器内存每个是190G，用时大概一周。如果单个节点的话肯定很长。 另外，您有没有监测一下cpu占用？程序是不是还在跑？

YuanCao1996 commented 4 months ago

有监测过，程序不在运行的，这个问题我们还在调查，感谢您的解答

github-actions[bot] commented 3 months ago

This issue is stale because it has been open for 30 days with no activity.

github-actions[bot] commented 3 months ago

This issue was closed because it has been inactive for 14 days since being marked as stale.