Flink写入ClickHouse大批量写入update失效

itinycheng / flink-connector-clickhouse

Flink SQL connector for ClickHouse. Support ClickHouseCatalog and read/write primary data, maps, arrays to clickhouse.

Apache License 2.0

347 stars 149 forks source link

Closed walkhan closed 8 months ago

walkhan commented 1 year ago

@itinycheng 在使用半年多，最近发现了一个问题。如果上游在大批量更新的时候，Flink-ClickHouse更新有时候会失效。只能通过重启Flink作业update才会正常。这是个概率问题，不知道你是否遇到过？

itinycheng commented 1 year ago

@walkhan Update我一般不用，通常用MergeTree + append + optimize table来实现类似update操作，alter..update操作性能较差；是否可能是大量的update更新在排队导致的数据更新延时？