search

cnych / qikqiak.com

关注 chatgpt、容器、kubernetes、devops、python、golang、微服务等技术 🎉🎉🎉
https://www.qikqiak.com
1.32k stars 346 forks source link

在 Kubernetes 集群上部署 Kafka #161

Open cnych opened 4 years ago

cnych commented 4 years ago

https://www.qikqiak.com/post/install-kafka-in-kubernetes/

最近在测试日志采集的时候，发现日志数据量稍微大一点，Elasticsearch 就有点抗不住了，对于 ES 的优化可能不是一朝一夕能够完成的，所以打算加一个中间层，将日志输出到 Kafka，然后通过 Logstash 从 Kafka 里面去消费日志存入 Elasticsearch。在测试环境现在并没有一套 Kafka 集群，所以我们来先在测试环境搭建一套 Kafka 集群。

oldyuan-ops commented 4 years ago

大哥,你kafka.yaml文件是不是忘记了~~

liyongzhezz commented 4 years ago

我也是使用kafka做EFK的消息队列，发现kafka似乎不能实现消息消费后删除，只能设置一个消息失效清理时间。这个会导致当数据量大的时候，kafka占的空间很大。这个您有什么好的方案或建议吗？谢谢