cloudnativecube / octopus

14 stars 2 forks source link

基于waterdrop导数场景,用flink实现流批一体 #127

Open mdianjun opened 3 years ago

mdianjun commented 3 years ago

任务: 1.验证:对“flink实时消费hive”的功能作POC验证,这将用于“hive向ck导数”的场景。先用原生flink验证,然后再集成到waterdrop里。(优先级高) 2.验证:用flink实现流批一体导数,完全替代spark,以简化底层架构。(优先级低)

@awplxz @lixuchun314

mdianjun commented 3 years ago

Flink写clickhouse:https://github.com/cloudnativecube/octopus/issues/104