[Feature][datavines-engine] spark从hive获取数据jdbc问题

954031894 commented 7 months ago

Search before asking

[X] I had searched in the feature and found no similar feature requirement.

Description

我在计算hive中的表时，遇到了一些问题。尝试解决，看到datavines源码时有一些问题。 spark引擎模块的jdbc连接模块datavines-engine-spark-connector-jdbc的io.datavines.engine.spark.jdbc.source.JdbcSource的getData方法。我看到符合enableHiveSupport以及Hive的驱动，就可以直接返回Hive的数据，但是由于我没有找到设置enableHiveSupport的位置，导致返回的是后面的通用的jdbc连接的数据，我想知道这里enableHiveSupport在哪里进行设置

1.源码图示

2.spark-submit提交任务给的json有关配置

在环境的conf中一直为null，我没有找到找到通过datavines设置这个的方法

Usage Scenario

No response

Related issues

No response

Are you willing to submit a PR?

[ ] Yes I am willing to submit a PR!

zixi0825 commented 7 months ago

现在暂时不支持spark直接读取hive数据，预计年后上

954031894 commented 7 months ago

好的好的

zixi0825 commented 2 months ago

现在已经支持Spark直接读取hive数据了，hive数据源中的配置【spark.enable.hive.support=true】就可以

datavane / datavines