search

childe / gohangout

使用 golang 模仿的 Logstash。用于消费 Kafka 数据，处理后写入 ES、Clickhouse 等。
MIT License
1.01k stars 234 forks source link

output到kafka的时候没有时间戳 #197

Closed rym4n closed 1 year ago

rym4n commented 1 year ago

kafka新版本默认有时间戳，看了下 https://github.com/childe/healer/blob/master/producer.go AddMessage 代码目前好像并未指定时间戳，导致produce到kafka的时间都会是1970年，希望大佬能新增配置项 :)

childe commented 1 year ago

嗯，我争取早点加上这功能。这个是新的 produce api 里面带的功能，gohangout 里面使用的 kafka 库是自己写的，还没有实现。

childe commented 1 year ago

github.com/childe/healer v0.3.2

手工 build 一下看？ 我这边看日志应该是有时间戳了。

消费的时候打印了一下日志字段：

baseTimestamp: 1670831035284

rym4n commented 1 year ago

非常感谢！我用新版本healer重新 build了之后可以了。 tips：需要注意在 Kafka 的 Output 中增加如下配置：healer.magicbyte: "1"，否则还是会没有时间戳，这个在文档中可以补充说明下，我也是读了下代码才发现的。

childe commented 1 year ago

非常感谢！我用新版本healer重新 build了之后可以了。 tips：需要注意在 Kafka 的 Output 中增加如下配置：healer.magicbyte: "1"，否则还是会没有时间戳，这个在文档中可以补充说明下，我也是读了下代码才发现的。

谢谢提醒，忘了加到文档中了。