loggie-io / loggie

A lightweight, cloud-native data transfer agent and aggregator
https://loggie-io.github.io/docs-en/
Apache License 2.0
1.26k stars 168 forks source link

这个支持日志投递到opensearch吗 #504

Open twotwo7 opened 1 year ago

twotwo7 commented 1 year ago

Ask your question here:

ethfoo commented 1 year ago

当前理论上是兼容的,因为opensearch是基于es的某个版本分支开发的,并且loggie主要只使用bulk接口去发送数据。

不过需要实际试一下。

twotwo7 commented 1 year ago

@ethfoo 你好,我还想问下loggie是否支持自动的发现k8s中运行的pod,并获取其yaml中的日志路径配置从而动态的更新采集路径呢?我看文档里面下发采集路径的方式好像只有向loggie主动下发这一种。

ethfoo commented 1 year ago

你指的是通过识别到pod里填写的annotation之类的配置,然后进行日志采集? (也可以查看中文readme里的二维码加loggie微信群讨论)

twotwo7 commented 1 year ago

@ethfoo 是的,不然我就要自己维护一个日志采集路径的配置了。我想把这份配置分布在每一个pod里。好的,我加一下微信群~

ethfoo commented 1 year ago

这样有一些局限性,比如:

既然可以在pod里增加配置,不如针对这个服务新增一个logconfig文件。

twotwo7 commented 1 year ago

@ethfoo 因为我这边是一个容器云的场景,用户可能会自己直接在k8s集群里通过kubctl直接新增一个服务,这时候就想能够自动探测,然后获取到日志路径。如果没有这个功能的话,可能要再运行一个服务去监听k8s事件然后主动生成loggie的logconfig了, 我看filebeat的docker模块好像有类似的功能(不确定)

ethfoo commented 1 year ago

其实我们很早之前是这样用的,但是后面有crd之后,抛弃了这种方式。 真的要做这个功能也能支持,如果你有兴趣可以参与进来。