search

dotnetcore / DotnetSpider

DotnetSpider, a .NET standard web crawling library. It is lightweight, efficient and fast high-level web crawling & scraping framework
MIT License
3.98k stars 1.04k forks source link

数据和对应的html都是后加载如何爬取 #205

Closed JYY20210419 closed 3 years ago

JYY20210419 commented 3 years ago

vue框架 index.html的body里放了一个


然后通过某个js 拿到后台数据以后把【内容A的html】填进

我如果直接请求这个index，没法拿到【内容A的html】 那我要怎么爬取【内容A的html】的元素

zlzforever commented 3 years ago

js 发生了另外一个请求，这是需要 js engine 才能执行并渲染的。你可以选择使用如 webdriver 或者自己分析 js 请求，构造请求来获取数据