search

xinzhuxiansheng / blog-notes

blog-notes
22 stars 2 forks source link

Flink CDC 2.x 无锁实现是如何实现全增量恰好一次的读 #80

Open en-hui opened 6 months ago

en-hui commented 6 months ago

参考文档：https://flink-learning.org.cn/article/detail/3ebe9f20774991c4d5eeb75a141d9e1e

xinzhuxiansheng commented 6 months ago

补充问题描述的结构图： 图片

1.若存在主键，如何避免 主键冲突？ 2.若不存在主键，若下游是 Kafka 那又如何 做到 不重复插入 3.Flink CDC 是如何了解？

xinzhuxiansheng commented 6 months ago

图片

1.还需 确认 每个 Chunk 都有各自的 高低水位，那么 他们各自补全数据的时候，是分别处理的

xinzhuxiansheng commented 6 months ago

SourceReader 读取时支持 chunk 粒度的 checkpoint，在所有 Snapshot Chunk 读取完成后，下发一个 binlog chunk 进行增量部分的 binlog 读取

1.这里强调 chunk 粒度，而不是 当前条， 是否会造成重复数据