dataabc / weiboSpider

新浪微博爬虫,用python爬取新浪微博数据
8.37k stars 1.98k forks source link

怎么获得最近的100条微博 #203

Closed Lxhnnn closed 4 years ago

Lxhnnn commented 4 years ago
dataabc commented 4 years ago

感谢建议。

需要修改代码,具体修改spider.py的start方法,由原来的

...
                for weibos in self.get_weibo_info():
                    self.write_weibo(weibos)
                    self.got_num += len(weibos)
...

变成

...
                for weibos in self.get_weibo_info():
                    self.write_weibo(weibos)
                    self.got_num += len(weibos)
                    if self.got_num >= 100:
                        break
...

self.got_num是记录获取条数的,因为一页微博有10条,如果获取的是全部微博是可以正好取到100条的。因为got_num是按页累加的,因此有时候可能不一定是正好100条,比如你获取的是原创微博,暂停时,可能已经获取了100多条(100至110之间)了,如果要正好100暂停,需要作一点优化再。

Lxhnnn commented 4 years ago

Thank you