open-falcon / falcon-plus

An open-source and enterprise-level monitoring system.
Apache License 2.0
7.26k stars 1.53k forks source link

graph内存不断上涨,直到OOM #930

Open Lambbbbo opened 3 years ago

Lambbbbo commented 3 years ago

我有5个graph,都部署在容器上,8核16G内存资源。 最近发现,有2个graph内存不断上涨,直到OOM容器自动重启。 image

这是日志: image

同样的配置,其他3个graph是正常的。

laiwei commented 3 years ago

可以先统计一下这5个graph,没台机器上的指标量。 @Lambbbbo

SolemnJoker commented 3 years ago

[我也遇上类似的问题,graph组件在docker容器里,给了8G内存,指标300多k,但是大概一个小时左右就会OOM, 2021-07-05_11-04 image 2021-07-05_11-03 @laiwei

Lambbbbo commented 3 years ago

@SolemnJoker 我怀疑是磁盘问题,数据不能及时落盘,导致内存一直在涨。

SolemnJoker commented 3 years ago

@Lambbbbo 我刚测试了在宿主机磁盘写入速度为246M/s image 在容器里面dd命令没有打印出速度,不过看时间比宿主机慢不到一倍理论上也有100多M每秒,这个速度应该是足够落盘的把 image

JimmyTinsley commented 3 years ago

@Lambbbbo 我刚测试了在宿主机磁盘写入速度为246M/s image 在容器里面dd命令没有打印出速度,不过看时间比宿主机慢不到一倍理论上也有100多M每秒,这个速度应该是足够落盘的把 image

由于底层数据库RRDTool的特性,graph数据点落盘基本上都是小数据随机读写,测试大文件连续读写速度意义不大。 建议测试一下硬盘IOPS,如果是云上的机器,还需要了解一下使用的云硬盘IOPS限制以及是否有性能突增机制。