LiuXingMing / SinaSpider

新浪微博爬虫(Scrapy、Redis)
3.27k stars 1.52k forks source link

关于微博抓取数据量的问题 #57

Closed ResolveWang closed 7 years ago

ResolveWang commented 7 years ago

楼主你好,我想了解一下目前你还在继续做微博爬虫没有。我看你以前写的一天可以爬1300万条数据,这是实测吗?如果是实测,大概你用了多少个账号,多少IP?

如果楼主现在还在继续做微博爬虫的话,我想问问,你现在大概每天或者每个小时能爬取多少条数据?这里指的是比较稳定的运行,不会触发微博的封号机制。因为目前我做PC端的微博爬虫,感觉它限制特别严格,用的多账号多IP分布式的方式,每天也爬取不了上十万的数据,就会被封。

希望得到你的解答,谢谢。