team4yf / middle-stage

数据中台
2 stars 1 forks source link

filebeat收集单文件最大收集的字节数默认10MB! #4

Open yfsoftcom opened 5 years ago

yfsoftcom commented 5 years ago

max_bytes: 10485760 #单文件最大收集的字节数,单文件超过此字节数后的字节将被丢弃,默认10MB,需要增大。

如何解决?

yfsoftcom commented 4 years ago

logrotate 是 linux 下的日志分割工具,配置简单。

在目录 /etc/logrotate.d 下创建一个配置文件 open_ruichen_top,内容如下:

/home/yf/projects/openiot.yunplus.io/app.log {
    rotate 30
    missingok
    dateext
    delaycompress
    notifempty
    copytruncate
    create
    daily
    su root root
}

查看日志记录: ls -l /home/yf/projects/openiot.yunplus.io/app.log* | awk '{print NR, $5/1024/1024"M", $6, $7, $9}'

1 1.18771M Sep 10 /home/yf/projects/openiot.yunplus.io/app.log
2 540.001M Sep 6 /home/yf/projects/openiot.yunplus.io/app.log-20190906
3 6.31369M Sep 7 /home/yf/projects/openiot.yunplus.io/app.log-20190907
4 7.22526M Sep 8 /home/yf/projects/openiot.yunplus.io/app.log-20190908
5 7.05429M Sep 9 /home/yf/projects/openiot.yunplus.io/app.log-20190909
6 7.09912M Sep 10 /home/yf/projects/openiot.yunplus.io/app.log-20190910