flink job完成之后，ck端数据还没有插入完成

itinycheng / flink-connector-clickhouse

Flink SQL connector for ClickHouse. Support ClickHouseCatalog and read/write primary data, maps, arrays to clickhouse.

Apache License 2.0

346 stars 148 forks source link

Open zaorangyang opened 9 months ago

zaorangyang commented 9 months ago

我的集群是3个shard,每个shard3个replica的架构，但是当一个flink job finish之后，check ck的表的数据，发现数据条数比插入的数据数目少，过一段时间后，ck表的数据数量才慢慢达到插入的数据量。为什么会出现这种现象？

zaorangyang commented 9 months ago

Hi @itinycheng 能帮忙看下这个问题吗？感谢哈

itinycheng commented 9 months ago

@zaorangyang Job finished后数据应该是已经发送到clickhouse的，这个应该是没异议的；数据延迟的现象是不是和clickhouse的机制，比如replica数据同步有关吧；