search

itinycheng / flink-connector-clickhouse

Flink SQL connector for ClickHouse. Support ClickHouseCatalog and read/write primary data, maps, arrays to clickhouse.
Apache License 2.0
347 stars 149 forks source link

问题咨询 #74

Closed weitianpei closed 8 months ago

weitianpei commented 1 year ago

image 请问这个参数是什么意思呢？意思是不是说，如果上游有更新，那么我们就会把更新的数据转换为 alter table tablename on cluster update ...这样的语句呢

itinycheng commented 1 year ago

image 请问这个参数是什么意思呢？意思是不是说，如果上游有更新，那么我们就会把更新的数据转换为 alter table tablename on cluster update ...这样的语句呢

update：将UPDATE_AFTER数据转换为alter table.. insert: 将UPDATE_AFTER数据转换为 insert into.. discard: 直接丢弃；

weitianpei commented 1 year ago

没有删除吗？ 另外更新和删除操作会很慢吧

---原始邮件--- 发件人: @.> 发送时间: 2023年4月26日(周三) 晚上7:54 收件人: @.>; 抄送: @.**@.>; 主题: Re: [itinycheng/flink-connector-clickhouse] 问题咨询 (Issue #74)

请问这个参数是什么意思呢？意思是不是说，如果上游有更新，那么我们就会把更新的数据转换为 alter table tablename on cluster update ...这样的语句呢

update：将UPDATE_AFTER数据转换为alter table.. insert: 将UPDATE_AFTER数据转换为 insert into.. discard: 直接丢弃；

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

itinycheng commented 1 year ago

@weitianpei 与删除相关的配置：sink.ignore-delete； Alter操作肯定慢，所以如果用MergeTree引擎时候，可以将update_after数据转为insert，后续通过clickhouse的optimize语句进行去重操作；