目前是不是不支持KRaft集群的监控，使用KRaft集群部署方式发现指标都采集不到

weihubeats commented 1 year ago

[ ] 我已经在 issues 搜索过相关问题了,并没有重复的。

在这里提出你的问题

kafka version: kafka_2.13-3.5.0
KnowStreaming: master

ZQKC commented 1 year ago

有没有什么错误信息，是不是JMX没有开？或者kafka开了什么认证，ks连接不上kafka？详细可以看doc目录下的无数据排查文档啊。

weihubeats commented 1 year ago

JMX已经开了通过VisualVM可以连接上，除了没有监控数据 kafka的broker可以看到，topic创建和统计没问题

weihubeats commented 1 year ago

排查看了下是es索引没有

 ERROR class=ES_LOGGER||method=doQuery||indexName=[ks_kafka_group_metric_2023-09-07,ks_kafka_group_metric_2023-09-08]||queryDsl={"query":{"bool":{"must":[{"term":{"clusterPhyId":{"value":1}}},{"term":{"group":{"value":"gid_xiaozou"}}},{"term":{"groupMetric":{"value":"1"}}},{"range":{"timestamp":{"gte":1694162281176,"lte":1694162881176}}},{"term":{"metrics.State":{"value":0.0}}}]}}}||errMsg=query error. 
com.didiglobal.logi.elasticsearch.client.model.exception.ESIndexNotFoundException: method [GET], host [http://192.168.1.1:9200], URI [/ks_kafka_group_metric_2023-09-07,ks_kafka_group_metric_2023-09-08/_search?routing=1%40gid_xiaozou], status line [HTTP/1.1 404 Not Found]

但是执行了https://init_es_template.sh脚本好像还是没有这个索引脚本执行输出: date: invalid date ‘{0..6} day ago’ es的索引topic 到2023-09-06就没了没有最新日期的索引

weihubeats commented 1 year ago

目前安装Know Streaming的方式是docker compose.再执行init_es_template.sh无效的前提下选择重装Know Streaming 现在看是指标都有了

iamxiaofu commented 1 year ago

我使用单机的方式安装KS打开JMX是能采集到Kraft模式的kafka集群的

didi / KnowStreaming

目前是不是不支持KRaft集群的监控，使用KRaft集群部署方式发现指标都采集不到 #1138

在这里提出你的问题