search

moiot / gravity

A Data Replication Center
Apache License 2.0
912 stars 173 forks source link

两个实例的场景下，相同表，相同主键的数据 可能会下发到不同的分区 #337

Closed zhanjianS closed 1 year ago

zhanjianS commented 1 year ago

目前发现，在两个实例的场景，mysql节点不同(不在同一个机器上) 的表，相同主键的数据，发送到同一个topic中, 两个实例的数据可能会下发到不同的分区 请问下，目前kafka的数据分区策略是根据什么确定分区下发的？

Ryan-Git commented 1 year ago

库表列名和更新后的值

https://github.com/moiot/gravity/blob/master/pkg/inputs/mysqlstream/msg.go#L410 https://github.com/moiot/gravity/blob/master/pkg/outputs/async_kafka/async_kafka.go#L198