Closed leveryd closed 1 year ago
有http/https服务的url数总共是6k,但实际上其中能给爬虫用的根目录只有1k
为什么需要这个?
性能优化,减少不必要的url扫描
有http/https服务的url数总共是6k,但实际上其中能给爬虫用的根目录只有1k
为什么需要这个?
性能优化,减少不必要的url扫描