search

crawlab-team / crawlab

Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台，支持任何语言和框架
https://www.crawlab.cn
BSD 3-Clause "New" or "Revised" License
11.38k stars 1.8k forks source link

请问使用save_item保存数据前，如何使用其他函数取数据查重？ #1365

Open wkliujing opened 1 year ago

wkliujing commented 1 year ago

请问使用save_item保存数据前，如何使用其他函数取数据查重？

wkliujing commented 1 year ago

比如有get_item吗?对应有什么参数可以插入

tikazyq commented 1 year ago

Relevant to https://github.com/crawlab-team/crawlab/issues/1354

xhatat commented 11 months ago

请问使用save_item保存数据前，如何使用其他函数取数据查重？

你也是碰到了mongodb无法去重的问题吗