search

childe / gohangout

使用 golang 模仿的 Logstash。用于消费 Kafka 数据，处理后写入 ES、Clickhouse 等。
MIT License
1.04k stars 239 forks source link

kafka output如何配置用户密码，和input类似 #109

Closed bj1116 closed 4 years ago

bj1116 commented 4 years ago

kafka output如何配置用户密码，和input类似，另外output lz4编码有问题

childe commented 4 years ago

  1. 看了一下, output 里面还没有写好, 我去修改一下

  2. Lz4的问题暂时解决不了, 需要大改一下, 实现 Kafak 比较新的协议的, 整个框架也都要改.

最近看到有新的 Kafka 框架出来, 也可以考虑使用别的 Kafka 框架, 我有空了也写一个别的 Kafka 库的 Plugin.

childe commented 4 years ago

@bj1116 v1.5.0 版本添加了这个配置, https://github.com/childe/gohangout/#kafka-1 但我现在不搞这个东西, 也没有环境测试了.. :(

bj1116 commented 4 years ago

好的，可以使用sarama的库，还比较稳定，咱们那个input的库如果kafka重启，重连有问题 可以了，谢谢

childe commented 4 years ago

嗯嗯, 现在工作也不做这块了, 没有精力去更新 Kafka 的库. Sarama 现在也支持了 Group Consumer, 建议使用这个吧~