Open yidao620c opened 1 year ago
https://www.xncoding.com/python/scrapy/scrapy-12.html
前面我们介绍的都是去抓取静态的网站页面,也就是说我们打开某个链接,它的内容全部呈现出来。 但是如今的互联网大部分的web页面都是动态的,经常逛的网站例如京东、淘宝等,商品列表都是js,并有Ajax渲染, 下载某个链接得到的页面里面含有异步加载的内容,这样再使用之前的方式我们根本获取不到异步加载的这些网页内容。 使用Javascript渲染和处理网页是种非常常见的做法,如何处理一个大量使用Javas
https://www.xncoding.com/python/scrapy/scrapy-12.html
前面我们介绍的都是去抓取静态的网站页面,也就是说我们打开某个链接,它的内容全部呈现出来。 但是如今的互联网大部分的web页面都是动态的,经常逛的网站例如京东、淘宝等,商品列表都是js,并有Ajax渲染, 下载某个链接得到的页面里面含有异步加载的内容,这样再使用之前的方式我们根本获取不到异步加载的这些网页内容。 使用Javascript渲染和处理网页是种非常常见的做法,如何处理一个大量使用Javas