TurboWay / spiderman

基于 scrapy-redis 的通用分布式爬虫框架
MIT License
584 stars 128 forks source link

关于 ScheduledRequest 的返回方式的疑问 #42

Open donneyluck opened 1 year ago

donneyluck commented 1 year ago

image 看到框架中 关于下一次请求是丢回到 redis中的 问题: 1.是否可以直接用 reture 和 yield 返回 2.如果1可以的话 跟丢回 redis有什么区别

TurboWay commented 1 year ago
  1. 可以,但是必须返回 scrapy.Request 对象。
  2. 区别就在于,1没有丢回 redis,迭代出来的新请求只能本机处理。