Boris-code / feapder

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单,功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度
http://feapder.com
Other
2.88k stars 476 forks source link

mongo使用url连接副本集,不能使用yeild item来进行存储 #253

Closed dawn9551 closed 4 months ago

dawn9551 commented 4 months ago

问题 mongo使用url连接副本集,不能使用yeild item来进行存储

截图 image

  1. 在初始化mongo_pipeline时,框架默认使用 self._to_db = MongoDB() ,不能连接到mongo副本集 uri

代码

        if not self._to_db:
            self._to_db = MongoDB()
  1. 配置文件是否能增加对mongo副本集的连接支持,在mongo_pipeline初始化 self._to_db 判断是否需要副本集连接
    @property
    def to_db(self):
        if not self._to_db:
            if setting.MONGO_URL:
                self._to_db = MongoDB(url=setting.MONGO_URL)
            else:
                self._to_db = MongoDB()

        return self._to_db
Boris-code commented 4 months ago

已支持,请升级到feapder==1.9.1b2