search

hect0x7 / JMComic-Crawler-Python

Python API for JMComic | 提供Python API访问禁漫天堂，同时支持网页端和移动端 | 禁漫天堂GitHub Actions下载器🚀
https://jmcomic.readthedocs.io/zh-cn/latest/option_file_syntax/#
MIT License
827 stars 1.95k forks source link

使用安装了linux mint 的z8350小主机用docker安装jmcomic库下载本子列表导致内存爆满死机 #52

Closed Logan147 closed 1 year ago

Logan147 commented 1 year ago

使用安装了linux mint 的z8350小主机用docker安装jmcomic库下载本子列表导致内存爆满死机

我在docker容器里使用jmcomic的python库进行本子的爬取但是4G的运行内存没多久就满了然后就死机了 可以说一下这可能是什么问题吗，以及如何解决这个内存占用太大的问题？

Logan147 commented 1 year ago

是这个cache配置项造成的吗

}, "download": { "cache": false, "image": { "decode": true, "suffix": ".jpg"

Logan147 commented 1 year ago

我之前的配置是true我现在把它改成false试试

Logan147 commented 1 year ago

好像就是这个的问题，现在htop的Mem显示只占用了1.67G

Logan147 commented 1 year ago

问题又出现了，不是这个的问题，运存占用又变成了3G多！！！！

hect0x7 commented 1 year ago

把你的完整配置发下，我猜大概率是 图片数太多 → 线程数爆炸 → 内存爆满，通过改配置能改善这个问题

Logan147 commented 1 year ago

好了，我把batch_count改成8就好了