search

childe / gohangout

使用 golang 模仿的 Logstash。用于消费 Kafka 数据，处理后写入 ES、Clickhouse 等。
MIT License
1.01k stars 234 forks source link

请问是否可以增加gohangout按照具体partition的offset消费，或者按照时间戳消费的配置功能 #104

Closed fvn4edal closed 1 year ago

fvn4edal commented 3 years ago

此功能适用于clickhouse宕机恢复之间，gohangout消费的数据未写进clickhouse，从而从某一个offset或者之前某一个时间点重新消费数据，保证数据不丢失。

childe commented 3 years ago

这个可以使用 reset offset 的功能. https://github.com/childe/healer/ 这里有提供, make all 一下.

另外, 可能比较好的办法是 clickhouse 宕机的时候, 阻塞写入clickhouse, 直到他恢复. 需要更新 Clickhouse 的 Output 代码逻辑

fvn4edal commented 3 years ago

这个可以使用 reset offset 的功能. https://github.com/childe/healer/ 这里有提供, make all 一下.

另外, 可能比较好的办法是 clickhouse 宕机的时候, 阻塞写入clickhouse, 直到他恢复. 需要更新 Clickhouse 的 Output 代码逻辑

好的，我试试看，谢谢。

fvn4edal commented 3 years ago

这个可以使用 reset offset 的功能. https://github.com/childe/healer/ 这里有提供, make all 一下.

另外, 可能比较好的办法是 clickhouse 宕机的时候, 阻塞写入clickhouse, 直到他恢复. 需要更新 Clickhouse 的 Output 代码逻辑

请问，这个是把gohangout最新源码down下来自己编译么。最新的release不支持这个是么。

childe commented 3 years ago

这个可以使用 reset offset 的功能. https://github.com/childe/healer/ 这里有提供, make all 一下. 另外, 可能比较好的办法是 clickhouse 宕机的时候, 阻塞写入clickhouse, 直到他恢复. 需要更新 Clickhouse 的 Output 代码逻辑

请问，这个是把gohangout最新源码down下来自己编译么。最新的release不支持这个是么。

是指 CH 阻塞直到恢复? 这个还没有支持, 现在是遇到 Error 就直接继续了..

childe commented 3 years ago

我自己对 CH 不熟悉, 之前是听别人的建议这样做的. 不知道 CH 的 Error 有没有错误代码, 可以允许用户自己定义, 什么样的错误可以继续, 什么样的需要重试.

我后面看看是不是可以做到这样.