search

zhegexiaohuozi / SeimiCrawler

一个简单、敏捷、分布式的支持SpringBoot的Java爬虫框架;An agile, distributed crawler framework.
http://seimicrawler.org
Apache License 2.0
1.98k stars 679 forks source link

关于获取爬虫进度的问题 #66

Open hk19950707 opened 3 years ago

hk19950707 commented 3 years ago

使用CrawlerCache.getCrawlerModel(name)方法只能获取Crawler所有入队的请求数和剩余长度，无法获取我当前的进度，假如我第一次抓取发了20个请求，第二次抓取发了20个请求那个total就是40了就没法计算第二次抓取的进度了