search

owner888 / phpspider

《我用爬虫一天时间“偷了”知乎一百万用户，只为证明PHP是世界上最好的语言 》所使用的程序
3.49k stars 1.18k forks source link

大师你好 怎么判断是否抓取完毕了？ #142

Open MissAlang opened 5 years ago

MissAlang commented 5 years ago

不可能是一直运行的吧？ 我想知道 我给的网址 是否抓取完毕的

owner888 commented 5 years ago

是一直运行直到抓完所有数据自动停止的哈，看到程序退出了，就是全抓完了

MissAlang commented 5 years ago

感觉大神 这么速度的回答。比如 我想这样呢 抓取完毕了 发送一个报告 咋处理 。

MissAlang commented 5 years ago

大神求指点下

pfinal-nc commented 5 years ago

@MissAlang 我是linux系统 跑后台进程 然后写日志,程序跑完毕有写日志的

awebc commented 4 years ago

是一直运行直到抓完所有数据自动停止的哈，看到程序退出了，就是全抓完了

能不能加一个 $phpspider->on_end()的方法，当任务结束时可以做一些操作，比如启动下一个网站的爬取，更新任务状态，可以做web 爬虫的任务监控