Open zzy2210 opened 1 year ago
子域名收集url与正则为个人整理,或许可以单独做一个模块从配置文件里面读列数,假设有10个k-v,分别对应url与正则,则启用十个协程来爬取对应网站并分析。 如果采用这种方式,后续应该是通过apiserver的配置文件读取,由它向节点发送配置内容
子域名收集url与正则为个人整理,或许可以单独做一个模块从配置文件里面读列数,假设有10个k-v,分别对应url与正则,则启用十个协程来爬取对应网站并分析。 如果采用这种方式,后续应该是通过apiserver的配置文件读取,由它向节点发送配置内容