search

dotnetcore / DotnetSpider

DotnetSpider, a .NET standard web crawling library. It is lightweight, efficient and fast high-level web crawling & scraping framework
MIT License
3.98k stars 1.04k forks source link

使用AddFollowRequestQuerier时，如果选择器中包含的链接是加密的或者需要解码的，那么href中的链接无法被正常添加到请求队列中 #178

Closed null-ed closed 3 years ago

null-ed commented 4 years ago

如果某些网站的链接属性href是需要解码过后才能正常使用的，使用AddFollowRequestQuerier时就会出问题，如何在AddFollowRequestQuerier时处理href，以便AddFollowRequestQuerier中能添加正确的请求

zlzforever commented 3 years ago
  1. DataParser 的 SelectableBuilder 中，自己处理好页面（解码链接）
  2. 最新代码你可以自己重载 AddFollowRequestQuerier