-
-
**请描述该需求尝试解决的问题**
长时间运行后,artifacts表占用磁盘空间过大
**请描述您认为可行的解决方案**
自动删除30天前的artifacts表数据
**考虑过的替代方案**
手动删除30天前的artifacts表数据
-
我现在使用的是crawlab0.6.3
主节点不启用,配置两个工作节点执行爬虫
主节点居然占用了70多个g,差点把我磁盘爆了
-
`go run main.go api` 报错spider error: forbidden
panic: could not build arguments for function "github.com/crawlab-team/crawlab-core/controllers".newSpiderContext.func1 (/Users/aladdin/go/pkg/mod/githu…
-
-
当很多爬虫脚本 python3 test/xxx.py
python3 test/xxx1.py
python3 test/xxx1.py
要新建三次爬虫,只是目录不同,但是在一个项目中,是不是要配置三次git提交,拉下来是三套代码,是否可优化选择已经配置过的git文件,选择项目…
-
**Bug 描述**
next.crawlab.cn/zh/guide/installation/docker.html#%E5%8D%95%E8%8A%82%E7%82%B9%E9%83%A8%E7%BD%B2)
**复现步骤**
该 Bug 复现步骤如下
1单节点部署
2上传爬虫文件
3启动爬虫(命令是python3 run.py)
4启动失败了,ModuleNotFound…
-
![image-20221213151510988](https://raw.githubusercontent.com/shengchenyang/AyugeSpiderTools/main/artwork/ayugespidertools-logo.png)
[![OSCS Status](https://www.oscs1024.com/platform/badge/AyugeSpid…
-
We currently use pypostal to parse addresses within our crawlers (https://github.com/openvenues/pypostal). This software requires some C code to be installed. After installed the pre-requisites, the…
-
# 每日安全资讯(2023-08-21)
- SecWiki News
- [ ] [SecWiki News 2023-08-20 Review](http://www.sec-wiki.com/?2023-08-20)
- unSafe.sh - 不安全
- [ ] [俄罗斯首颗月球探测器Luna-25坠毁在月球 没能实现赶超印度的愿望](https://buaq.net/go-17…