search

nghuyong / WeiboSpider

持续维护的新浪微博采集工具🚀🚀🚀
MIT License
3.66k stars 825 forks source link

用户历史微博数据后期爬不到 #126

Closed ZhaoyingAC closed 4 years ago

ZhaoyingAC commented 4 years ago

我这里尝试爬取人民日报的发过的历史微博，但是爬了几页之后就像这样，显示请求成功了但是没有数据，请问这是什么情况。 [图片]

ZhaoyingAC commented 4 years ago

下面是中间结果 TIM图片20200117222948

ZhaoyingAC commented 4 years ago

之前用的是search分支里面的weibo_spider，里面的类继承自RedisSpider。现在换了master分支里面的，里面的爬虫类继承自Spider，貌似可以爬到全部用户的历史微博数据（只会出现少量的丢失情况）。

jas0nvoorhees commented 4 years ago

我这里尝试爬取人民日报的发过的历史微博，但是爬了几页之后就像这样，显示请求成功了但是没有数据，请问这是什么情况。 [图片]

老哥找不到没有验证码的小号，请问你是怎么绕过反爬虫措施的呢，指点指点 ？

ZhaoyingAC commented 4 years ago

@08163182 就是按照教程说构建得账号池，你可以多看看issue里面关于在哪里可以买那种不需要验证码的账号。