保存数据到数据库是否支持去重？ - Githubissues

ssssssss-team / spider-flow

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

https://www.spiderflow.org

MIT License

9.61k stars 1.86k forks source link

保存数据到数据库是否支持去重？ #43

Closed fendo8888 closed 2 years ago

fendo8888 commented 2 years ago

保存数据到数据库是否支持去重？

定时执行，抓取数据，然后保存到数据库，插入前需要校验下是否存在该内容，如果存在则忽略，否则会存在多条一样的数据。

fendo8888 commented 2 years ago

已解决，通过自定义SQL，可以实现