Scrapy笔记02- 完整示例 | 飞污熊博客

[yidao620c]

https://www.xncoding.com/python/scrapy/scrapy-02.html

这篇文章我们通过一个比较完整的例子来教你使用Scrapy，我选择爬取虎嗅网首页的新闻列表。 这里我们将完成如下几个步骤： 创建一个新的Scrapy工程 定义你所需要要抽取的Item对象 编写一个spider来爬取某个网站并提取出所有的Item对象 编写一个Item Pipline来存储提取出来的Item对象 Scrapy使用Python语言编写，如果你对这门语言还不熟，请先去学习下基本知识。