search

yaooqinn / spark-ranger

已经合入(apache/incubator-kyuubi) ACL Management for Apache Spark SQL with Apache Ranger.
https://yaooqinn.github.io/spark-ranger/
Apache License 2.0
54 stars 56 forks source link

权限在使用Spark thrift server时有效，但是使用kyuubi 时却不生效 #18

Open EdwardLiao008 opened 4 years ago

EdwardLiao008 commented 4 years ago
  1. spark 版本 2.4.5 ，ranger 版本 1.0 ， hive 2.1 ，按照了指定文档进行安装了
  2. 启动Spark thrift server 通过beeline进行SQL 查询是正常进行了权限控制的，但是启动了kyuubi server的时候，再通过beeline 连接 ，权限却不生效了，kyuubi是否还需要其他配置,？ ps: 使用Spark thrift server 时是有自定义认证的（Authentication=CUSTOM）,使用kyuubi时是没有的（NONE）
yaooqinn commented 4 years ago

kyuubi暂时还没集成这个项目

EdwardLiao008 commented 4 years ago

那kyuubi目前可以支持SQL-standard-base-authorization 的权限控制吗？或者通过ranger来控制权限吗？

yaooqinn commented 4 years ago

kyuubi目前用的老的spark-authorizer

EdwardLiao008 commented 4 years ago

感谢回答。目前老的spark-authorizer 是不是不支持spark2.4.5，因为我就是从spark-authorize 过来的，自己安装了，但是没生效

yaooqinn commented 4 years ago

对，不过可以集成一下这个项目，欢迎提PR

EdwardLiao008 commented 4 years ago

你好，我今天重新使用了spark-authorizer ，并且把spark版本降到了2.2.2，ranger版本0.5.3 ，还是一样的问题，使用kyuubi 时，权限不生效，但是使用spark thrift server 权限就会生效。 kyuubi使用spark-authorizer来控制权限时，有没有具体的配置？或者有没有要求一定要配认证（Authentication），kyyubi版本：0.8

yaooqinn commented 4 years ago

宁愿选择降版本么？ https://github.com/yaooqinn/kyuubi/blob/master/kyuubi-server/src/main/scala/org/apache/spark/KyuubiConf.scala#L337

EdwardLiao008 commented 4 years ago

好了，非常感谢，我们现在生产版本是2.0.2，所以升版本升2.4.5 和升2.2.2都是可以的，现在还在测试阶段，打算使用kyuubi来替代spark thrift server

liu372943162 commented 4 years ago

我们使用 ranger1.0，spark2.4，在配置好后，权限可以对spark-thrift 生效，但是查询sql 不会优先使用分区条件进行筛选，而是直接进行全表扫描，导致查询很慢，不知道这个问题有没有朋友遇到过