search

crawlab-team / crawlab

Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台，支持任何语言和框架
https://www.crawlab.cn
BSD 3-Clause "New" or "Revised" License
11.38k stars 1.8k forks source link

Scrapy-Pipeline #1367

Closed PShiYou closed 1 year ago

PShiYou commented 1 year ago

如果在Scrapy中已经写好了自己的数据存储管道时，在settings启动时，可以直接将数据存入到自己的数据库中，例如MySQL、MongoDB。个人认为比使用SDK方便

tikazyq commented 1 year ago

有具体的实际例子么？

PShiYou commented 1 year ago

11111111 22222222 3333333 44444444 先写了一个Excel pipeline，保存的路径是桌面

tikazyq commented 1 year ago

建议用Crawlab SDK自带的pipeline，然后在数据标签中下载CSV文件

PShiYou commented 1 year ago

可以增加这个功能吗

tikazyq commented 1 year ago

可以增加这个功能吗

这个只有不用使用docker才比较方便，等后面的agent功能吧