如何让多个spider顺序执行

code4craft / webmagic

A scalable web crawler framework for Java.

http://webmagic.io/

Apache License 2.0

11.45k stars 4.18k forks source link

Open getideas opened 1 year ago

getideas commented 1 year ago

如何让多个spider顺序执行，比如spider1执行完毕后，就开始执行spider2，要如何操作。

18547601391 commented 11 months ago

将多个爬虫需要的参数封装放在list中，用foreach遍历，在循环内调用spider的启动方法，这样一次爬虫结束以后就会进入下一个循环执行第二个爬虫