Closed Lxhnnn closed 4 years ago
感谢建议。
需要修改代码,具体修改spider.py的start方法,由原来的
...
for weibos in self.get_weibo_info():
self.write_weibo(weibos)
self.got_num += len(weibos)
...
变成
...
for weibos in self.get_weibo_info():
self.write_weibo(weibos)
self.got_num += len(weibos)
if self.got_num >= 100:
break
...
self.got_num是记录获取条数的,因为一页微博有10条,如果获取的是全部微博是可以正好取到100条的。因为got_num是按页累加的,因此有时候可能不一定是正好100条,比如你获取的是原创微博,暂停时,可能已经获取了100多条(100至110之间)了,如果要正好100暂停,需要作一点优化再。
Thank you
问:请说明需要什么新功能。
答:
问:请说明添加该功能的意义。(非必填)
答: