Closed TianLanSky closed 4 years ago
感谢您的支持,bug已经修复,但是你最后说的那个问题,看不懂,解决办法:在 重试url 入队之前,将 url 移出 self::$collect_urls
你原来的代码: 爬取(url) self::$collect_urls[md5(url)]=time(); 爬取失败,重新入队 url 准备爬取 url,但是发现 self::$collect_urls[md5(url)] 已经定义,所以就不爬取了
修复: 爬取(url) self::$collect_urls[md5(url)]=time(); 爬取失败,重新入队 url,并且 unset(self::$collect_urls[md5(url)]) 准备爬取 url,self::$collect_urls[md5(url)] 未定义,爬取
感谢支持,已经修复
我写在博客里面啦
点击进入