Open fantaxy opened 1 year ago
目前没有这方面的计划 :(
如果要支持这个,在当前结构上的修改会比较大。
我的理解,你不能使用正常的Group Consumer去消费,只能是自己对应 Partition 去消费以及 Commit Offset。
是否可以在input和worker之间加一个dispatcher插件,来将同一个Partition的事件交由同一个worker处理,这样就能保证同一个patition的数据是被顺序处理的,也就能够顺序commit。
是否可以在input和worker之间加一个dispatcher插件,来将同一个Partition的事件交由同一个worker处理,这样就能保证同一个patition的数据是被顺序处理的,也就能够顺序commit。
不太好搞。我能想到的有
然后还有一些其他问题,比如,CK Output 里面怎么调用 Input(Kafka)组件里面的方法,或者是反过来,Kafka Input 里面怎么感知 CK Output 处理到哪个 Offset了。
我这边来实现下,如果有需要我可以提个PR
我这边来实现下,如果有需要我可以提个PR
谢谢,感觉是一个比较大的工程~ 希望是可以向前兼容的,可用户自己配置的。
我理解需要能够手动提交(output成功后再提交),意味着需要将kafka数据每个分区使用一条管道来处理,保证能够顺序提交。 有这方面计划吗? 或者如果不这么实现,有什么办法来保证可靠消费呢?