itinycheng / flink-connector-clickhouse

Flink SQL connector for ClickHouse. Support ClickHouseCatalog and read/write primary data, maps, arrays to clickhouse.
Apache License 2.0
363 stars 154 forks source link

clickhouse字段类型为date,kafka字段为null,报错 #79

Open zhbdesign opened 1 year ago

zhbdesign commented 1 year ago

clickhouse字段类型为date,kafka字段为null,报错,数据无法插入

itinycheng commented 1 year ago

异常内容是?

zhbdesign commented 1 year ago

有交流群可以加吗😜

zhbdesign commented 1 year ago

flinksql中,kafka连接器和clickhouse 连接器定义的这两个字段都是string类型,因为毫秒那个不太规范,用的是冒号,不用字符串会异常, 如果两个字段都有值的情况下没问题

itinycheng commented 1 year ago

flinksql中,kafka连接器和clickhouse 连接器定义的这两个字段都是string类型,因为毫秒那个不太规范,用的是冒号,不用字符串会异常, 如果两个字段都有值的情况下没问题

String和Date是两个类型,本身这样就做就不合理; clickhouse-jdbc会将Date转为yyyy-MM-dd的格式然后发送到clickhouse server端,如果是yyyy-MM-dd的字符串应该是可以写成功的(这样做只是绕过,而不是解决问题);

itinycheng commented 1 year ago

有交流群可以加吗😜

没群;不过这个插件并不复杂,可以本地断点测试下;

zhbdesign commented 1 year ago

我确实没有测试正常毫秒格式的数据,然后有null的是否正常

zhbdesign commented 1 year ago

这个可以先删除吗,我们有一些要脱敏,但是可能不够彻底

zhbdesign commented 1 year ago

图片删除就行

zhbdesign commented 1 year ago

你说的应该是正确的,因为第一个时间都是非空的,我后边那个有空的字段在ck中用字符串也不行,要把第一个也用字符串才可以正常导入数据

zhbdesign commented 1 year ago

https://blog.csdn.net/epitomizelu/article/details/120751040,找到一个一样的问题,大佬看下是否可以解决此类问题