infinilabs / gateway

🚀 A High-performance gateway designed for search scenarios. Good friend of Elasticsearch/Opensearch/Easysearch.
https://www.infinilabs.com/en/docs/latest/gateway/
28 stars 3 forks source link

生产环境产生大量的监控数据,导致kafka硬盘写满 #42

Closed lygsniper closed 3 months ago

lygsniper commented 4 months ago

问题描述

我们在生产环境使用极限网关同步ES数据到灾备环境,过了一段时间,发现kafka宕机了,查找问题是因为kafka硬盘被写满了,看kafka数据全是极限网关发送的监控数据,有10G左右,最后分析kafka数据,差不多每天产生1.3-1.5G的监控数据,但是开发环境并没有这么大的数据量。 通过分析kafka数据,发现生产环境10s产生18条监控数据,而开发环境只产生2条,这个就是为什么生产数据量大的原因,但是为啥每次会产生18条这么多的数据,这个是我的疑问?请各位大佬分析分析

medcl commented 4 months ago

详细的配置和数据样本可以提供一下么?

lygsniper commented 4 months ago

1 2 222

medcl commented 4 months ago

这些采集的数据是网关实例上报的指标数据,如果需要可以通过参数 METRIC_ENABLED: false 来进行关闭。 关于两个环境的差异,具体数据你可以进行分析一下,每一条都有唯一的类型标识,不同的网卡也会分布采集上报。