itinycheng / flink-connector-clickhouse

Flink SQL connector for ClickHouse. Support ClickHouseCatalog and read/write primary data, maps, arrays to clickhouse.
Apache License 2.0
347 stars 149 forks source link

url地址是否支持集群模式? #48

Closed kxbin closed 1 year ago

kxbin commented 1 year ago

例如: clickhouse://host1:8123,host2:8123,host3:8123

itinycheng commented 1 year ago

例如: clickhouse://host1:8123,host2:8123,host3:8123

您好,支持: 具体实现使用的是clickhouse-jdbc中的BalancedClickhouseDataSource

kxbin commented 1 year ago

@itinycheng 多谢,我测试一下看看

kxbin commented 1 year ago

您好,我在flink sql中测试集群模式的url,结果失败了

输入的url是

CREATE TABLE (
   略
) WITH  (
  'connector' = 'clickhouse',
  'url' = 'clickhouse://192.168.0.1:30004,192.168.0.2:30004,192.168.0.3:30004',
  其他参数略
)

调试得到的url是clickhouse://null

INFO  org.apache.flink.connector.clickhouse.internal.connection.ClickHouseConnectionProvider [] - connecting to clickhouse://null, database gaofang

我猜测是org.apache.flink.configuration.ReadableConfig读取url的时候,如果遇到逗号分隔会存在异常。

明天我在调试一下,如果有结果的话,我提交一个PR修复一下

如果您能给出一些指导,那就更好不过啦 :)

另外搜索到两个相关问题的链接:

https://github.com/ClickHouse/clickhouse-jdbc/issues/678

https://issues.apache.org/jira/browse/FLINK-17294

kxbin commented 1 year ago

是因为我有一个自定义的Properties文件弄错了,所以读取到的为null。 :joy:

flink sql 1.15.1,测试集群模式url是没问题的。

itinycheng commented 1 year ago

是因为我有一个自定义的Properties文件弄错了,所以读取到的为null。 😂

flink sql 1.15.1,测试集群模式url是没问题的。

@kxbin

好的,有遇到问题,欢迎PR 🤝;