Open mdianjun opened 3 years ago
ck与其他存储引擎之间的高效数据转换,包括对接hive, hbase, es。前期目标专注在hive上。
1.基于ck接口的实现方案是用waterdrop作数据转换(跑spark或flink任务),目前已经开发了spark版本,即将验证flink版本。 @awplxz @lixuchun314 https://github.com/cloudnativecube/octopus/issues/127
2.基于ck的表引擎实现:使用JDBC表引擎读hive,或者使用HDFS引擎读hdfs文件。如果要提升性能,很可能要改ck代码。 @mdianjun @godliness
3.基于clickhouse-jdbc-bridge项目:需要看下这个项目有什么借鉴价值,作个POC,https://github.com/ClickHouse/clickhouse-jdbc-bridge 。 PPT:ClickHouse Java Client and JDBC Bridge @Cas-pian
目标:转换效率上要做到高效,用户操作流程上要做到简单和自动化( @AnberLu )。
Related issue: https://github.com/cloudnativecube/octopus/issues/26
ck与其他存储引擎之间的高效数据转换,包括对接hive, hbase, es。前期目标专注在hive上。
1.基于ck接口的实现方案是用waterdrop作数据转换(跑spark或flink任务),目前已经开发了spark版本,即将验证flink版本。 @awplxz @lixuchun314 https://github.com/cloudnativecube/octopus/issues/127
2.基于ck的表引擎实现:使用JDBC表引擎读hive,或者使用HDFS引擎读hdfs文件。如果要提升性能,很可能要改ck代码。 @mdianjun @godliness
3.基于clickhouse-jdbc-bridge项目:需要看下这个项目有什么借鉴价值,作个POC,https://github.com/ClickHouse/clickhouse-jdbc-bridge 。 PPT:ClickHouse Java Client and JDBC Bridge @Cas-pian
目标:转换效率上要做到高效,用户操作流程上要做到简单和自动化( @AnberLu )。
Related issue: https://github.com/cloudnativecube/octopus/issues/26