didi / KnowStreaming

一站式云原生实时流数据平台,通过0侵入、插件化构建企业级Kafka服务,极大降低操作、存储和管理实时流数据门槛
https://knowstreaming.com
GNU Affero General Public License v3.0
6.99k stars 1.28k forks source link

Kraft模式指标显示优化 #1215

Open iamxiaofu opened 10 months ago

iamxiaofu commented 10 months ago

环境信息

需要优化的功能点

在对接3.5.1的Kraft模式的kafka集群时,可以将controller显示改为leader,因为有很多controller每分钟都切换显示对数据库造成不必要的存储,可以显示leader来更好的判断集群状态

建议如何优化

medivh511 commented 8 months ago

你是不是采用combined node模式?这种部署的模式不是生产的模式,生产模式需要把broker和controller分开部署,比如3 broker + 3 controller,know streaming似乎取不到controller的数量,集群一直是不健康状态

比如我的节点ID:1、2、3是controller,4、5、6是broker,系统只能看到4、5、6,且错认为4,5,6其中之一是controller

此外系统获取我的controller的数量等于0,这就不对了,明明有1个controller(1、2、3中的一个),而combined node模式下可以获取,因为节点既是broker也是controller

medivh511 commented 8 months ago

我建议在kraft模式下,集群设置上增加controller节点的连接框,并增加对controller节点的信息展示,并且集群健康检测规则上,能够检测到broker和controller分开部署时的controller节点

sunrisela commented 1 week ago

kraft模式下,kafka metadata APIs 返回的是随机controller ID,导致 ks_km_kafka_controller 数据量不断地快速增长,该表也有必要 添加一个cluster_phy_id字段的索引。

medivh511 commented 6 days ago

不清楚它们是否会继续修正这些BUG,似乎目前已经停止更新了,knowstreaming是不是项目终结了......