search

apache / rocketmq-flink

RocketMQ integration for Apache Flink. This module includes the RocketMQ source and sink that allows a flink job to either write messages into a topic or read from topics in a flink job.
https://rocketmq.apache.org/
Apache License 2.0
139 stars 88 forks source link

Direct new DefaultMQPullConsumer, cann't update offset to broker when notifyCheckpointComplete function #19

Closed wangyongchun8888 closed 1 year ago

SteNicholas commented 2 years ago

@wangyongchun8888 , do you have the example to reproduce the problem you mentioned?

eyeori commented 2 years ago

@wangyongchun8888 , do you have the example to reproduce the problem you mentioned?

我也遇到了相同的问题，你后来解决了吗？

wangyongchun8888 commented 2 years ago

用这个。而且老版本的由于依赖自动消费队列均衡机制，可能在重启消费的时候，发生数据重复消费的情况。这种在启动之前分配好消费哪个queue，可以避免

---- 回复的原邮件 ---- | 发件人 | Alan @.> | | 日期 | 2022年05月17日 10:20 | | 收件人 | @.> | | 抄送至 | @.**@.> | | 主题 | Re: [apache/rocketmq-flink] Direct new DefaultMQPullConsumer, cann't update offset to broker when notifyCheckpointComplete function (Issue #19) |

@wangyongchun8888 , do you have the example to reproduce the problem you mentioned?

我也遇到了相同的问题，你后来解决了吗？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>

eyeori commented 2 years ago

用这个。而且老版本的由于依赖自动消费队列均衡机制，可能在重启消费的时候，发生数据重复消费的情况。这种在启动之前分配好消费哪个queue，可以避免 …

emm... 你说的是用哪个？我现在使用的是 da92a64a （2021.1.21）这个版本，最后一个支持flink1.10的版本，在这个版本中，我无论使用checkpoint模式还是用非checkpoint模式，都会遇到offset没有正确提交的问题

wangyongchun8888 commented 2 years ago

我是自己在那上面改的，自己维护的

---- 回复的原邮件 ---- | 发件人 | Alan @.> | | 日期 | 2022年05月18日 16:51 | | 收件人 | @.> | | 抄送至 | @.**@.> | | 主题 | Re: [apache/rocketmq-flink] Direct new DefaultMQPullConsumer, cann't update offset to broker when notifyCheckpointComplete function (Issue #19) |

用这个。而且老版本的由于依赖自动消费队列均衡机制，可能在重启消费的时候，发生数据重复消费的情况。这种在启动之前分配好消费哪个queue，可以避免 …

emm... 你说的是用哪个？我现在使用的是 da92a64 （2021.1.21）这个版本，最后一个支持flink1.10的版本，在这个版本中，我无论使用checkpoint模式还是用非checkpoint模式，都会遇到offset没有正确提交的问题

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>

ShannonDing commented 1 year ago

我是自己在那上面改的，自己维护的 … ---- 回复的原邮件 ---- | 发件人 | Alan @.> | | 日期 | 2022年05月18日 16:51 | | 收件人 | @.> | | 抄送至 | @.**@.> | | 主题 | Re: [apache/rocketmq-flink] Direct new DefaultMQPullConsumer, cann't update offset to broker when notifyCheckpointComplete function (Issue #19) | 用这个。而且老版本的由于依赖自动消费队列均衡机制，可能在重启消费的时候，发生数据重复消费的情况。这种在启动之前分配好消费哪个queue，可以避免 … emm... 你说的是用哪个？我现在使用的是 da92a64 （2021.1.21）这个版本，最后一个支持flink1.10的版本，在这个版本中，我无论使用checkpoint模式还是用非checkpoint模式，都会遇到offset没有正确提交的问题 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>

Hi，Could you pls create a PR to fix this issue?

ShannonDing commented 1 year ago

@wangyongchun8888 @eyeori could you pls review this pr #37 ,and have a test on the issue you mentioned?