search

StarRocks / starrocks

The world's fastest open query engine for sub-second analytics both on and off the data lakehouse. With the flexibility to support nearly any scenario, StarRocks provides best-in-class performance for multi-dimensional analytics, real-time analytics, and ad-hoc queries. A Linux Foundation project.
https://starrocks.io
Apache License 2.0
8.94k stars 1.79k forks source link

希望支持聚合类型的导入 #49940

Open lukoou3 opened 2 months ago

lukoou3 commented 2 months ago

Feature request

想要直接写入hll类型，而不是使用HLL_HASH函数转换通过明细导入

需要直接写入hll等聚合函数中间状态类型，就类似clickhouse的AggregateFunction类型支持写入任何聚合函数的中间聚合状态，只需要写入的字节数组符合对应聚合函数序列化格式就能直接写入。

通过HLL_HASH函数导入hll类型，原始导入数据太多，直接导入hll类型导入数据会少很多。

打算把数据从druid和clickhouse迁移到starrocks，发现starrocks不是能直接写入所有的聚合函数类型。

能否像doris一样提供hll_from_base64/hll_to_base64函数，使可以通过 Stream load 导入数据hll类型数据。

当然最好也能支持其他常用聚合类型的导入，业务中我们使用较多的有：使用HLL计算基数，使用分位数sketch计算分位数。

LiShuMing commented 2 months ago

Yes. We will support this.

hll sketch will be supported after this pr(https://github.com/StarRocks/starrocks/issues/49000).