Closed FlowerBirds closed 3 years ago
主要是向使用sparksql on odps:
spark.sql.catalogImplementation=odps
社区版本的spark不能直接用:
private def sessionStateClassName(conf: SparkConf): String = {
conf.get(CATALOG_IMPLEMENTATION) match {
case "hive" => HIVE_SESSION_STATE_BUILDER_CLASS_NAME
case "in-memory" => classOf[SessionStateBuilder].getCanonicalName
}
}
2.4.3分支正在开发中
spark 2.3.x最新分支版本2.3.4; spark 2.4.x最新分支版本2.4.5;
新版本有没有支持,这几个帮助页面提供的spark版本有点老了。 https://developer.aliyun.com/article/728374?spm=a2c6h.12873581.0.0.12d9187aXmBwN0 和 https://github.com/aliyun/aliyun-cupid-sdk/#5.3