search

alibaba / canal

阿里巴巴 MySQL binlog 增量订阅&消费组件
Apache License 2.0
28.44k stars 7.6k forks source link

rdb adapter同步优化 #5161

Open lwd-coding opened 4 months ago

lwd-coding commented 4 months ago

Question

QQ截图20240609230908 在高并发更新的时候，这里每个分片的处理其实是开启一个事务以后for循环同步执行每个dml，最后才提交；有多次网络的交互； 优化思路： 1.是否可以考虑新增数据包大小的参数，然后有选择的进行合并更新呢？ 2.同个pk都会在一个分片，如果有多个pk是否可以考虑合并处理？

KuanKuanya commented 3 months ago

现在这里如果一个分片失败其余的并不会回滚，是不是会出现数据不一致，mq我看回滚的是当前这批消息

agapple commented 3 months ago

可以考虑提交一个PR给我