search

jae-jae / QueryList

:spider: The progressive PHP crawler framework! 优雅的渐进式PHP采集框架。
https://querylist.cc
2.66k stars 442 forks source link

跑的数据量大会有问题 #78

Closed 2pgcn closed 5 years ago

2pgcn commented 5 years ago

image

前面跑好好地 每次跑到200多条数据后 就抛出截图的异常

jae-jae commented 5 years ago

数据量大的情况下要及时调用destruct()方法释放内存，参考：https://querylist.cc/docs/guide/v4/faq

2pgcn commented 5 years ago

谢谢，多进程下跑，调用的同库的 每个进程循环里都调了destruct 还是会有问题。10个进程，大概每个进程能跑200次就会自动抛出异常。php内存上限设置的128m

2pgcn commented 5 years ago

image 每次都有销毁才执行下一步的 还是会报这个错

jae-jae commented 5 years ago

可以尝试 try catch 捕获一下异常，记录出现异常的URL，之后再重跑一遍。

2pgcn commented 5 years ago

异常都存redis了 后续会重新消费去跑一遍，抛出的这些异常没问题 ，第二次执行就行了。现在就是每个进程跑大概200条我手动重新跑下，数据量大无法自动挂着跑就头疼。跑完这堆数据我单进程找下异常，感觉还是没有回收干净