search

crawlab-team / crawlab

Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台，支持任何语言和框架
https://www.crawlab.cn
BSD 3-Clause "New" or "Revised" License
11.33k stars 1.78k forks source link

不能使用非crawlab里面mongodb么? #798

Closed 52Lau closed 1 year ago

52Lau commented 4 years ago

不能使用非crawlab里面mongodb么?

tikazyq commented 4 years ago

Crawlab 专业版可以，支持多种数据源

https://docs.crawlab.cn/zh/DataSource/

52Lau commented 4 years ago

“脚本是用 Crawlab SDK 的 save_item 保存结果数据”这个才会吧? 可以这个不是使用Crawlab的save_item,就是在文件里面自己写的一个连接 image 这种也不能么?

tikazyq commented 4 years ago

如果了解原理的话，可以自己重写SDK来满足你的需求

52Lau commented 4 years ago

不管哪一个版本,如果我想用mongo或者其他的东西,自己想写一点其他的逻辑,比如查询都不能吧

tikazyq commented 4 years ago

不管哪一个版本,如果我想用mongo或者其他的东西,自己想写一点其他的逻辑,比如查询都不能吧

不理解，请解释一下

wo10378931 commented 4 years ago

不管哪一个版本,如果我想用mongo或者其他的东西,自己想写一点其他的逻辑,比如查询都不能吧

可以自己部署一个mongodb实例

0utman1 commented 3 years ago

“脚本是用 Crawlab SDK 的 save_item 保存结果数据”这个才会吧? 可以这个不是使用Crawlab的save_item,就是在文件里面自己写的一个连接 image 这种也不能么?

这种应该可以吧，自己写一个工具类，随便哪个数据库都可存，不过save_items这个步骤会不会有问题?