search

zhegexiaohuozi / SeimiCrawler

一个简单、敏捷、分布式的支持SpringBoot的Java爬虫框架;An agile, distributed crawler framework.
http://seimicrawler.org
Apache License 2.0
1.98k stars 679 forks source link

CrawlerModel的startRequest方法，startRequests执行两次 #33

Closed xdrodger closed 5 years ago

xdrodger commented 5 years ago

用startRequest方式启动，startRequests获取了两次，望调整。

issue
zhegexiaohuozi commented 5 years ago

没有获取两次，他们代表不同的用法

xdrodger commented 5 years ago

startRequests内如果是动态获取的，会造成浪费。startUrls获取后，保存局部变量，就不会有此问题

zhegexiaohuozi commented 5 years ago

可能你对他们用法有无解，startRequests又不是必须的，他只是给开发者提供一种可以提供复杂起始请求的方法。