Open zhongjie-cai opened 2 years ago
OpenLooKeng version (source or binary): 1.6.0
OS platform & distribution (eg., Linux Ubuntu 16.04): EulerOS 2.0SP10x86_64
Java version: OpenJDK8U-jdk_x64_linux_hotspot_8u222b10.tar
目前OLK进行ES搜索的时候,貌似默认是先从ES上按给定的index抓取全部数据后,再执行给定的SQL语句。我去查看了ES的连接器,没有找到算子下推的相关代码和功能(而MySQL和Oracle的连接器有)。 我们现在单个ES栈上有百亿左右的数据量,一个index的数据容量在1TB以上,这样通过OLK进行搜索就几乎是不可能的了。 所以我们想了解一下,是否有其他方法可以优化搜索,还是以目前的情况是做不到的?谢谢!
Software Environment:
OpenLooKeng version (source or binary): 1.6.0
OS platform & distribution (eg., Linux Ubuntu 16.04): EulerOS 2.0SP10x86_64
Java version: OpenJDK8U-jdk_x64_linux_hotspot_8u222b10.tar
Describe the current behavior
目前OLK进行ES搜索的时候,貌似默认是先从ES上按给定的index抓取全部数据后,再执行给定的SQL语句。我去查看了ES的连接器,没有找到算子下推的相关代码和功能(而MySQL和Oracle的连接器有)。 我们现在单个ES栈上有百亿左右的数据量,一个index的数据容量在1TB以上,这样通过OLK进行搜索就几乎是不可能的了。 所以我们想了解一下,是否有其他方法可以优化搜索,还是以目前的情况是做不到的?谢谢!