Scrapy笔记11- 模拟登录 | 飞污熊博客

[yidao620c]

https://www.xncoding.com/python/scrapy/scrapy-11.html

有时候爬取网站的时候需要登录，在Scrapy中可以通过模拟登录保存cookie后再去爬取相应的页面。这里我通过登录github然后爬取自己的issue列表来演示下整个原理。 要想实现登录就需要表单提交，先通过浏览器访问github的登录页面https://github.com/login，然后使用浏览器调试工具来得到登录时需要提交什么东西。 我这里使用chrome浏览器的调试工具，F12打开后选