CentOS6 too many open files 问题

Southeast commented 7 years ago

现象
- 启动之后，系统正常，dbsize 600M，link数为15-20
- 执行几小时后开始大量报too many open files异常（server.cpp line327)
- 此时lsof | wc -l 得到的打开文件数为4000左右，远在系统最大限制之下
已修改系统最大文件数限制
- ulimit -Hn = 700000
- ulimit -Sn = 700000

进一步排查，因为我的client端网络非常不稳定，连接怀疑是死连接没有释放。lsof可以看到大量socket套接字

ssdb-serv 1657    root   63u     IPv4          367221455      0t0        TCP 7.93.159.94:7950->1.155.248.144:50024 (ESTABLISHED)
ssdb-serv 1657    root   64u     IPv4          571769194      0t0        TCP 7.93.159.94:7950->1.7.75.221:41337 (ESTABLISHED)
ssdb-serv 1657    root   65u     IPv4          571769197      0t0        TCP 7.93.159.94:7950->1.7.75.221:41356 (ESTABLISHED)

是否支持连接超时释放。类似redis配置：


# Close the connection after a client is idle for N seconds (0 to disable)
timeout 60

ideawu commented 7 years ago

文档中对这种情况有应对方案, 你先按文档解决, 如有问题, 对照的文档描述一下. 文档: http://ssdb.io/docs/zh_cn/config.html

Southeast commented 7 years ago

用文档的c1000k工具查过了，最大文件限制实际非常高，系统报“too many files open"错误的时候lsof只有4000个左右。我们的server端会有许多不同ip的机器连接，但是连接后不能保证正常释放，需要server端去检测并释放过期连接

ideawu commented 7 years ago

log.txt 中 links: 12 类似的字样, 表示server端未释放的 fd.

huaxiaoer commented 5 years ago

以上是用c1000K测试的结果和log中的记录。这个问题我们也遇到几次了，也是centos6。

perrornet commented 3 years ago

我同样遇到了这个问题。

系统版本

Linux iZwz9af6b264b13gqrjxg9Z 3.10.0-1127.18.2.el7.x86_64 #1 SMP Sun Jul 26 15:27:06 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux

ssdb版本

file-max 设置值

open file设置值

ssdb打开的文件数量

ssdb连接数量

ssdb打开ldb文件数量

错误日志

ssdb占用资源情况

ideawu commented 3 years ago

@PerrorOne 你用的是什么linux发行版? 如果是 centos 7, 那么它比较特殊, 非常非常复杂, 你到网卡搜索一下教程, 或者找有经验的人士帮忙.

ideawu / ssdb