search

itinycheng / flink-connector-clickhouse

Flink SQL connector for ClickHouse. Support ClickHouseCatalog and read/write primary data, maps, arrays to clickhouse.
Apache License 2.0
349 stars 149 forks source link

查询clickhouse数据 #34

Closed jetliu1711 closed 2 years ago

jetliu1711 commented 2 years ago

您好，请教一个问题哈，我可以实时查询clickhouse的数据吗？比如我现在有一个表，实时往里面写，然后另一个程序会实时查询这个表今天凌晨到目前为止的所有数据，比如2000万，然后在去和流的数据进行匹配？

itinycheng commented 2 years ago

您好， 感觉您说的是lookup join，当前connector还没实现这个功能，未来有时间可能会添加这个功能；

Geek-Joey commented 2 years ago

您好，我想使用该connector读取ClikHouse(亿级别数据量)结果写入MySQL，请问如何避免oom呢？

jetliu1711 commented 2 years ago

您好， 感觉您说的是lookup join，当前connector还没实现这个功能，未来有时间可能会添加这个功能；

好的，谢谢

itinycheng commented 2 years ago

您好，我想使用该connector读取ClikHouse(亿级别数据量)结果写入MySQL，请问如何避免oom呢？

OOM要看具体场景，具体分析的；总的来说： Batch mode：可以通过增加分区分片来减少每个subTask的数据读取数量； Streaming mode：是读取一条处理一条，没State Operator的话应该不至于OOM；