alibaba / canal

阿里巴巴 MySQL binlog 增量订阅&消费组件
Apache License 2.0
28.46k stars 7.61k forks source link

一份数据被多个Group消费,一个Group出现问题会影响其他分组 #2971

Open Roy7032 opened 4 years ago

Roy7032 commented 4 years ago

各位大佬有测试多个分组消费同一份数据没有,请指教一下 wiki上说明: 1.一份数据可以被多个group同时消费, 多个group之间会是一个并行执行, 一个group内部是一个串行执行多个outerAdapters, 比如例子中logger和hbase

  1. 目前client adapter数据订阅的方式支持两种,直连canal server 或者 订阅kafka/RocketMQ的消息

测试: 一个instance,抽取 一张表 ,到ES和MYSQL 配置: application.yml 如下图

image

启动服务: 1.测试10条输入插入抽取到ES、MYSQL没有问题 2.为模拟其中一个抽取失败,将ES服务暂停,测试插入10条数据,ES、MYSQL都没有插入成功 3.启动ES服务,无插入情况下ES、MYSQL数据均少10条, 测试插入10条数据后 ES数据和原表数据一致,到MYSQL的数据缺少10条

请问我的测试,或者是配置有哪些问题吗,还是我的理解有问题呢

gitxulang commented 2 years ago

先顶一下