search

StephinChou / Pythonspider

一个简单的python爬虫，原生python+BeautifulSoup
156 stars 118 forks source link

请问下如何设置可以爬几页呢 #3

Open isnine opened 8 years ago

isnine commented 8 years ago

请问下如何设置可以爬几页呢，我按照代码里面的注释"# 例：zhihu.py 1 5 获取1到5页的数据"发现没有用，根据测试，每次只会爬取10个用户的答案，就会结束这个问题了。谢谢

StephinChou commented 8 years ago

1 5 指的是获取1-5页的所有问题，至于爬多少个答案是每个问题都不一样。 有对比过爬取内容和网页内容的区别吗？ 有设置最低赞同数吗

isnine commented 8 years ago

我刚测试了下，用Chrome浏览器的开发者工具看页面源码确实只显示10个回答，爬取的回答也只有十个，但是页面上实际确实不止10个回答，也许和知乎网页的样式有关？

StephinChou commented 8 years ago

你说的是 页面上 点击更多按钮 获取更多答案吧。 那个网页的动态载入确实没做处理。