search

childe / gohangout

使用 golang 模仿的 Logstash。用于消费 Kafka 数据，处理后写入 ES、Clickhouse 等。
MIT License
1.03k stars 238 forks source link

kafka lz4 & field json parse #156

Closed braior closed 1 year ago

braior commented 2 years ago

在这里首先非常感谢作者开源该优秀的软件，解决了公司因logstash带来的资源浪费的问题 在重度使用过程中遇到以下问题： 1、healer实现的Kafka客户端无法消费lz4格式的日志，有作者通过插件解决了该问题，但是该插件没有适配kafka鉴权问题 https://github.com/huangjacky/gohangout-input-kafkago 2、在field字段解析过程中没有适配not_usenumber

childe commented 2 years ago

谢谢反馈。

  1. LZ4的问题我再看看，LZ4的压缩和速度都很好，争取看看怎么支持好
  2. 不太明白啥意思，有例子不？
wsjhk commented 2 years ago

目前好像还不支持zstd压缩格式的日志是吗？开启zstd压缩后gohangout无法消费消息。

childe commented 1 year ago

lz4 已经支持。

zstd 还不支持。

先关掉了，有需要再开或者开新的。