search

itinycheng / flink-connector-clickhouse

Flink SQL connector for ClickHouse. Support ClickHouseCatalog and read/write primary data, maps, arrays to clickhouse.
Apache License 2.0
349 stars 149 forks source link

mysqlcdc同步到ck库的更新有问题 #42

Closed fejxc closed 8 months ago

fejxc commented 1 year ago

mysql的源数据进行更新一条数据，ck库会把mysql更新的那条数据进行删除，不会新增一条更新后的新数据。

itinycheng commented 1 year ago

这个问题可能与ClickHouseUpsertExecutor 有关，关注下executeBatch方法；

execute statements顺序是 insert > update > delete；delete statement在一个batch中总是最后执行； 当flush batch size 大于1时又可能出现你说的这个问题，当前我还没太好的解决办法；

walkhan commented 1 year ago

@fejxc @itinycheng 测试的时候遇到了，现在有好的办法吗？我现在Flink1.14，看代码update策略代码是实现了，实测不支持