使用 Loggie 采集到 Loki 的日志不连续，一段时间有一段时间没有数据

loggie-io / loggie

A lightweight, cloud-native data transfer agent and aggregator

https://loggie-io.github.io/docs-en/

Apache License 2.0

1.26k stars 167 forks source link

Open ixiaoyi93 opened 1 year ago

ixiaoyi93 commented 1 year ago

通过 Grafana 查看日志：

在 Kubernetes 中使用 Loggie terminal 的可交互式 dashboard 截图：

不知道该如何排查。

ixiaoyi93 commented 1 year ago

我大概知道了，loggie 采集 stdout 端的日志，也是完全读取的文件么？应该是从头读取文件，量太大了的原因。请问，针对这种现象，如何配置只采集新变更的日志文件。

ethfoo commented 1 year ago

使用readFromTail看下，https://loggie-io.github.io/docs/main/reference/pipelines/source/file/#readfromtail 不过请使用最新main构建的镜像，或者使用最新release-v1.5的镜像，之前版本这里有点问题。

qq1573464941 commented 7 months ago

通过 Grafana 查看日志：

在 Kubernetes 中使用 Loggie terminal 的可交互式 dashboard 截图：

不知道该如何排查。

老哥，请问下你的loggie的logconfig是如何配置的，我这边loggie推送loki，日志采集不全，匹配的app='*'，很多项目没采集到。能分享一下你的配置嘛？十分感谢