您好，打扰了，有个小白问题问下，谢谢了！

geekan / scrapy-examples

Multifarious Scrapy examples. Spiders for alexa / amazon / douban / douyu / github / linkedin etc.

3.17k stars 1.04k forks source link

Closed guotong1988 closed 8 years ago

guotong1988 commented 8 years ago

比如豆瓣这个例子https://github.com/geekan/scrapy-examples/blob/master/doubanbook/doubanbook/spiders/douban_spider.py

Rule(sle(allow=("/subject/\d+/?$")), callback='parse_2'), 这句话是在主页面内匹配subject

不太清楚抓取子页面里的东西的是哪句代码？

geekan commented 8 years ago

parse_2这个函数，表明是第二层的解析

guotong1988 commented 8 years ago

多谢！！可是parse_1没有被调用？？

geekan commented 8 years ago

这只是一个demo，一层在这里并不需要解析（是列表页），我们的目标是抽取内容

guotong1988 commented 8 years ago

赞！我有点会用了，下一步是获取下一页下几页的内容～就是内容是个列表，这个列表是分多页展示的～

geekan commented 8 years ago

是的，注意正则规则，你可以把翻页的链接写到正则里，让scrapy自动follow