graph内存不断上涨，直到OOM

open-falcon / falcon-plus

An open-source and enterprise-level monitoring system.

Apache License 2.0

7.26k stars 1.53k forks source link

Open Lambbbbo opened 3 years ago

Lambbbbo commented 3 years ago

我有5个graph，都部署在容器上，8核16G内存资源。最近发现，有2个graph内存不断上涨，直到OOM容器自动重启。

这是日志：

同样的配置，其他3个graph是正常的。

laiwei commented 3 years ago

可以先统计一下这5个graph，没台机器上的指标量。 @Lambbbbo

SolemnJoker commented 3 years ago

[我也遇上类似的问题，graph组件在docker容器里，给了8G内存，指标300多k，但是大概一个小时左右就会OOM， 2021-07-05_11-04 2021-07-05_11-03 @laiwei

Lambbbbo commented 3 years ago

@SolemnJoker 我怀疑是磁盘问题，数据不能及时落盘，导致内存一直在涨。

SolemnJoker commented 3 years ago

@Lambbbbo 我刚测试了在宿主机磁盘写入速度为246M/s 在容器里面dd命令没有打印出速度，不过看时间比宿主机慢不到一倍理论上也有100多M每秒，这个速度应该是足够落盘的把

JimmyTinsley commented 3 years ago

@Lambbbbo 我刚测试了在宿主机磁盘写入速度为246M/s 在容器里面dd命令没有打印出速度，不过看时间比宿主机慢不到一倍理论上也有100多M每秒，这个速度应该是足够落盘的把

由于底层数据库RRDTool的特性，graph数据点落盘基本上都是小数据随机读写，测试大文件连续读写速度意义不大。建议测试一下硬盘IOPS，如果是云上的机器，还需要了解一下使用的云硬盘IOPS限制以及是否有性能突增机制。