search

JoeShi / kafka-realtime-data-processing

MIT License
0 stars 2 forks source link

KCL 消费的 Kinesis 时候，是否可以 rebalance? #18

Closed JoeShi closed 4 years ago

JoeShi commented 4 years ago
  1. 如果有3个KCL 节点，一个挂了，那么消费的shard 是否会被另外两个 KCL 节点接管。
  2. 如果3个KCL 节点，负载过大，需要临时加负载，那么是否可以通过 Auto Scaling Group 完成
fanyizhen1995 commented 4 years ago

可以自动 rebalance。

可以在对应的 dynamnoDB 中看到：如果一个 KCL 节点挂了，其中一个现有的 leaseOwner 会接管过对应的 shard 节点，然后该节点的 ownerSwitches 数会 +1.

同理，当新增一台节点时，该新增的节点会自动接管至少一个 shard 节点。

JoeShi commented 4 years ago

nice