openlookeng / hetu-core

570 stars 423 forks source link

请问Elasticsearch连接器什么时候能出算子下推/搜索优化? #366

Open zhongjie-cai opened 2 years ago

zhongjie-cai commented 2 years ago

Software Environment:

Describe the current behavior

目前OLK进行ES搜索的时候,貌似默认是先从ES上按给定的index抓取全部数据后,再执行给定的SQL语句。我去查看了ES的连接器,没有找到算子下推的相关代码和功能(而MySQL和Oracle的连接器有)。 我们现在单个ES栈上有百亿左右的数据量,一个index的数据容量在1TB以上,这样通过OLK进行搜索就几乎是不可能的了。 所以我们想了解一下,是否有其他方法可以优化搜索,还是以目前的情况是做不到的?谢谢!