通过 Spark 中的 Apache Ranger 进行授权

Question

我们在 hive 表上定义了游侠策略，当我们使用 hive cli 和 beeline 时，授权按预期工作。但是当我们使用 spark-shell 或 spark-submit 访问这些 hive 表时，它就不起作用了。

有什么方法可以设置吗？

问题陈述： Ranger 仅保护 Hive (JDBC) 服务器。但 Spark 不与 HS2 交互，而是直接与 Metastore 交互。因此，如果您通过 JDBC 使用 Hive，则使用 Ranger 策略的唯一方法。另一种选择是 HDFS 或存储 ACL，它们是对文件路径等的粗粒度控制。您也可以使用 Ranger 来管理 HDFS ACL。在这种情况下，spark 将受到这些政策的约束。但是，如果我使用 Ranger 来管理 HDFS ACLS，正如您所提到的，它将对文件进行粗粒度控制。我可能在行/列级别很少有细粒度的用例

Answer 1

在 ranger ui 中检查 ranger 审核并检查这些表的拒绝结果，验证用户。