owner888 / phpspider

《我用爬虫一天时间“偷了”知乎一百万用户,只为证明PHP是世界上最好的语言 》所使用的程序
3.49k stars 1.17k forks source link

on_scan_page 和 on_list_page回调函数 #130

Open security00 opened 5 years ago

security00 commented 5 years ago

我发现我设置了这两个回调函数之后,程序压根没走这两个回调函数,直接走的on_start回调函数。 还有 我使用 queue::del() 队列删除的时候,发现我传进去的key,和实际函数接收到的key不同,导致 key没法删除。 还有我使用了 linux的crontab 定时任务,设置每6个小时启动一次爬虫,到时间之后crontab里面设置的命令是执行了,但是脚本似乎没能跑起来,每次都需要手动去执行一次才可以,请问这是怎么回事?

owner888 commented 5 years ago

1、程序没有走这两个回调函数说明你设置的正则并没有匹配到任何数据,检查一下下面这个地方 'list_url_regexes' => array( "http://www.qiushibaike.com/8hr/page/\d+\?s=\d+" ), 2、queue::del()的key不同这个应该是不存在的,能否提供您的操作代码 3、linux的crontab是没有环境变量的,你使用的时候不能用 php qiushibaike.php start,要用全路径