Closed vinaquino closed 1 year ago
目标几十万域名,扫着扫着就卡住不动了,我也在定位中,大家也帮看下。
因url量有点大,我是直接从redis每次取100条url,把线程对象提到循环外面。 经常会在跑大概半小时后,出现卡住不动的情况。
我把整个流程大改后,去除了future阻塞,采用固定线程处理,仍然会出现卡死的情况。个人猜测也有可能是个别处理流程出现时间过长的情况,最后还是改回作者的代码继续使用,并且添加reture超时时间result(timeout=number)
目标几十万域名,扫着扫着就卡住不动了,我也在定位中,大家也帮看下。