search

aliyun / MaxCompute-Spark

MaxCompute spark demo for building a runnable application.
Apache License 2.0
106 stars 56 forks source link

spark 2.3分支的包还有更新么，其他版本的有么 #4

Closed FlowerBirds closed 3 years ago

FlowerBirds commented 4 years ago

spark 2.3.x最新分支版本2.3.4； spark 2.4.x最新分支版本2.4.5；

新版本有没有支持，这几个帮助页面提供的spark版本有点老了。 https://developer.aliyun.com/article/728374?spm=a2c6h.12873581.0.0.12d9187aXmBwN0 和 https://github.com/aliyun/aliyun-cupid-sdk/#5.3

FlowerBirds commented 4 years ago

主要是向使用sparksql on odps：

spark.sql.catalogImplementation=odps

社区版本的spark不能直接用：

  private def sessionStateClassName(conf: SparkConf): String = {
    conf.get(CATALOG_IMPLEMENTATION) match {
      case "hive" => HIVE_SESSION_STATE_BUILDER_CLASS_NAME
      case "in-memory" => classOf[SessionStateBuilder].getCanonicalName
    }
  }
shujiewu commented 4 years ago

2.4.3分支正在开发中