Scrapy笔记09- 部署 | 飞污熊博客

[yidao620c]

https://www.xncoding.com/python/scrapy/scrapy-09.html

本篇主要介绍两种部署爬虫的方案。如果仅仅在开发调试的时候在本地部署跑起来是很容易的，不过要是生产环境，爬虫任务量大，并且持续时间长，那么还是建议使用专业的部署方法。主要是两种方案： Scrapyd 开源方案 Scrapy Cloud 云方案