didi / KnowStreaming

一站式云原生实时流数据平台,通过0侵入、插件化构建企业级Kafka服务,极大降低操作、存储和管理实时流数据门槛
https://knowstreaming.com
GNU Affero General Public License v3.0
7k stars 1.28k forks source link

能否新增支持kafka消息的监控 #562

Open XW512 opened 2 years ago

XW512 commented 2 years ago

能否新增对kafka消息的监控告警处理,比如kafka的生产者监控,消费的lag等

PenceXie commented 2 years ago

如果需求说的是指对指标设置相应的阈值,建议使用Prometheus来配置实现,我们已经提供了相应的方案和模版,可以参考: https://doc.knowstreaming.com/product/3-design-doc#322prometheus--grafana-对接 如果不是这个意思,可以再描述更具体一些,3Q

XW512 commented 2 years ago

如果需求说的是指对指标设置相应的阈值,建议使用Prometheus来配置实现,我们已经提供了相应的方案和模版,可以参考: https://doc.knowstreaming.com/product/3-design-doc#322prometheus--grafana-对接 如果不是这个意思,可以再描述更具体一些,3Q

感谢回复,我想的是,能否通过动态配置一些topic进行监控,比如这个topic的生产者的消息不流入了,这个topic的消费慢了,进行积压了,然后可以发送短信或者邮件的形式通知

PenceXie commented 2 years ago

如果需求说的是指对指标设置相应的阈值,建议使用Prometheus来配置实现,我们已经提供了相应的方案和模版,可以参考: https://doc.knowstreaming.com/product/3-design-doc#322prometheus--grafana-对接 如果不是这个意思,可以再描述更具体一些,3Q

感谢回复,我想的是,能否通过动态配置一些topic进行监控,比如这个topic的生产者的消息不流入了,这个topic的消费慢了,进行积压了,然后可以发送短信或者邮件的形式通知

目前k11g只提供了单个topic的指标观测能力,至于设置阈值,并根据阈值触发告警通知,这些后续监控运维场景还没有覆盖,如果有兴趣建议使用Prometheus来配置实现,不过我们后续版本有计划增加告警模块和通知模块,只是排期比较靠后,预计在23年Q4