Scrapy笔记03- Spider详解 | 飞污熊博客

[yidao620c]

https://www.xncoding.com/python/scrapy/scrapy-03.html

Spider是爬虫框架的核心，爬取流程如下： 先初始化请求URL列表，并指定下载后处理response的回调函数。初次请求URL通过start_urls指定，调用start_requests() 产生Request对象，然后注册parse方法作为回调 在parse回调中解析response并返回字典,Item对象,Request对象或它们的迭代对象。Request 对象还会包含回调函数，之后Sc