crawlab-team / crawlab

Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台，支持任何语言和框架

https://www.crawlab.cn

BSD 3-Clause "New" or "Revised" License

11.33k stars 1.78k forks source link

请问大佬每次新建一个爬虫，都需要配置一次git吗？ #1134

Closed Lu-dashuai closed 11 months ago

Lu-dashuai commented 2 years ago

当很多爬虫脚本 python3 test/xxx.py python3 test/xxx1.py python3 test/xxx1.py 要新建三次爬虫，只是目录不同，但是在一个项目中，是不是要配置三次git提交，拉下来是三套代码，是否可优化选择已经配置过的git文件，选择项目后，就可以在同一个目录下的文件进行运行，谢谢大佬作答

tikazyq commented 2 years ago

which version?

Lu-dashuai commented 2 years ago

v0.6.0 已经改过了吗

Lu-dashuai commented 2 years ago

which version? v0.6.0 能否将 git项目绑定在 Project 上而不是绑定在 Spiders 上

IT-IvDragon commented 2 years ago

我采用的方法是：直接把项目路径挂载到容器，在crawlab上新建爬虫任务的时候不上传到git，命令路径直接用挂载上去的路径，跟进一步的话直接把环境挂载进去，docker和宿主机共用一份代码，也不需要每次改动代码都要再次上传

pgshow commented 1 year ago

很好的方法，具体怎么做的呢？

jasonz1360 commented 7 months ago

好主意

jasonz1360 commented 7 months ago

很好的方法，具体怎么做的呢？

找到个解决办法，挂载共用目录，这样git只需要sync一次，还省力

举例方法：

volumes:

"/opt/.crawlab/master:/root/.crawlab" # 持久化 crawlab 元数据
"/opt/crawlab/master:/data" # 持久化 crawlab 数据
"/var/crawlab/log:/var/log/crawlab" # 持久化 crawlab 任务日志
"/opt/finbase-crawlab:/root/***:rw" # 持久化 crawlab 代码

- <宿主机目录>:<容器目录>

然后在爬虫的命令里加上root/***开头