Closed baisui1981 closed 3 months ago
在MySQL 同步到目标库 starrock或者doris 库中时，MySQL中采用分库策略存储海量数据，在MySQL库中有一张A表需要同步到下游Doris库中，由于A表的主键采用自增bigint为主键，导致多个分库中的表的主键汇聚到同一个doris表时，存在主键冲突的问题。
在执行数据通道的上下文张绑定上，向下文相关参数，例如：$dbName，$tableName 可供用户选择，结合concat transformer算子将 A表Id于上线文参数连接生成新的主键替换原有Id，这样就不会有冲突了
微信：H2M1
问题
在MySQL 同步到目标库 starrock或者doris 库中时，MySQL中采用分库策略存储海量数据，在MySQL库中有一张A表需要同步到下游Doris库中，由于A表的主键采用自增bigint为主键，导致多个分库中的表的主键汇聚到同一个doris表时，存在主键冲突的问题。
解决策略
在执行数据通道的上下文张绑定上，向下文相关参数，例如：$dbName，$tableName 可供用户选择，结合concat transformer算子将 A表Id于上线文参数连接生成新的主键替换原有Id，这样就不会有冲突了
微信：H2M1