zhegexiaohuozi / SeimiCrawler

一个简单、敏捷、分布式的支持SpringBoot的Java爬虫框架;An agile, distributed crawler framework.
http://seimicrawler.org
Apache License 2.0
1.98k stars 679 forks source link

添加多账号支持,和单账号链路追踪。 #91

Open fanlushuai opened 1 year ago

fanlushuai commented 1 year ago

特性请求:1. 多账号支持;2. 基于账号的链路追踪。3. 增加插件机制。如,智能识别 403limit,动态算法调整速率,并且记忆保存。

业务场景

使用task,使用多个账号,登录。获取cookie进行保存。

在其他task中,批量的,获取cookie进行访问。

在访问过程中,一个cookie的,请求路径和账号绑定,使得可视化日志。