search

zhegexiaohuozi / SeimiCrawler

一个简单、敏捷、分布式的支持SpringBoot的Java爬虫框架;An agile, distributed crawler framework.
http://seimicrawler.org
Apache License 2.0
1.98k stars 681 forks source link

有块代码逻辑想请教一下作者 #58

Open JasonCL2015 opened 4 years ago

JasonCL2015 commented 4 years ago

image

如上图，SeimiCrawlerBootstrapListener中的line74，在这个嵌套循环中，请问一下为什么要多个线程来执行同一个crawler？在SemiProcessor中，其中一个线程优先执行完queue.bPop(crawlerModel.getCrawlerName())这句后，其它线程不就一直死循环下去吗？请问为什么这么设计呢？