search

LiuXingMing / SinaSpider

新浪微博爬虫（Scrapy、Redis）
3.27k stars 1.52k forks source link

单机版没找到什么时候给FollowsItem['follows']赋值 #40

Open nellace opened 7 years ago

nellace commented 7 years ago

单机版里面parse3回掉没找到FollowsItem["follows"] FansItem["fans"]的赋值，但是程序运行的结果里面确实是有值，不太理解这块

nellace commented 7 years ago

看了好多遍，还是没明白，parse3里面明明没有给FollowsItem["follows"]、FansItem["fans"]赋值啊，是什么时候存进数据库的啊 大神给点启发呗

KKnight99 commented 7 years ago

parser3里面在调用了yield item后，会调用MongoDBPipleline里面的process_item，这个时候就会存数据库