ruozedata / blog_issues

0 stars 0 forks source link

生产改造Spark1.6源代码,create table语法支持Oracle列表分区 | 若泽大数据 www.ruozedata.com #37

Open ruozedata opened 5 years ago

ruozedata commented 5 years ago

https://ruozedata.github.io/2018/05/08/%E7%94%9F%E4%BA%A7%E6%94%B9%E9%80%A0Spark1.6%E6%BA%90%E4%BB%A3%E7%A0%81%EF%BC%8Ccreate%20table%E8%AF%AD%E6%B3%95%E6%94%AF%E6%8C%81Oracle%E5%88%97%E8%A1%A8%E5%88%86%E5%8C%BA/

1.需求通过Spark SQL JDBC 方法,抽取Oracle表数据。2.问题大数据开发人员反映,使用效果上列表分区优于散列分区。但Spark SQL JDBC方法只支持数字类型分区,而业务表的列表分区字段是个字符串。目前Oracle表使用列表分区,对省级代码分 区。参考 http://spark.apache.org/docs/1.6.2/sql-programming-guide.html#