search

owner888 / phpspider

《我用爬虫一天时间“偷了”知乎一百万用户，只为证明PHP是世界上最好的语言 》所使用的程序
3.49k stars 1.18k forks source link

queue_rpush 方法去重了，add_url 重试是无法进入队列的…… #132

Open keefe-wu opened 5 years ago

keefe-wu commented 5 years ago

queue_rpush 方法对url去重了，add_url 重试是无法将地址重新放入队列的……

简单处理是不是可以

queue::del('collect_urls-' . md5($url));

在调用 add_url？

还是我用法不对。。

owner888 commented 5 years ago

add_url是会去重的，用add_scan_url($url, $options = array(), $allowed_repeat = true)方法，默认$allowed_repeat为true，说明允许重复