search

zzy2210 / Moon_Trace

A tool for web safe
GNU General Public License v3.0
8 stars 0 forks source link

修复url深度爬取无法中止等问题 #10

Open zzy2210 opened 1 year ago

zzy2210 commented 1 year ago

目前的url爬取是深度无限爬取，存在无法中止以及可能的重复爬取问题 需要更改后做到

  1. 深度有限制
  2. 超时解决
  3. 无重复爬取问题