Scrapy笔记08- 文件与图片 | 飞污熊博客

[yidao620c]

https://www.xncoding.com/python/scrapy/scrapy-08.html

Scrapy为我们提供了可重用的item pipelines为某个特定的Item去下载文件。 通常来说你会选择使用Files Pipeline或Images Pipeline。 这两个管道都实现了： 避免重复下载 可以指定下载后保存的地方(文件系统目录中,Amazon S3中)