owner888 / phpspider

《我用爬虫一天时间“偷了”知乎一百万用户,只为证明PHP是世界上最好的语言 》所使用的程序
3.49k stars 1.18k forks source link

发现一个过时函数 & 一个 bug #154

Closed TianLanSky closed 4 years ago

TianLanSky commented 4 years ago

我写在博客里面啦

点击进入

owner888 commented 4 years ago

感谢您的支持,bug已经修复,但是你最后说的那个问题,看不懂,解决办法:在 重试url 入队之前,将 url 移出 self::$collect_urls

TianLanSky commented 4 years ago

你原来的代码: 爬取(url) self::$collect_urls[md5(url)]=time(); 爬取失败,重新入队 url 准备爬取 url,但是发现 self::$collect_urls[md5(url)] 已经定义,所以就不爬取了

修复: 爬取(url) self::$collect_urls[md5(url)]=time(); 爬取失败,重新入队 url,并且 unset(self::$collect_urls[md5(url)]) 准备爬取 url,self::$collect_urls[md5(url)] 未定义,爬取

owner888 commented 4 years ago

感谢支持,已经修复