使用 Kerberos 身份验证和 Livy（通过 sparkmagic）时，文件路径变得隐藏且无法访问答案

【问题标题】：File Paths become hidden unaccessible when using Kerberos Authentication and Livy (via sparkmagic)使用 Kerberos 身份验证和 Livy（通过 sparkmagic）时，文件路径变得隐藏且无法访问
【发布时间】：2021-04-12 09:45:15
【问题描述】：

在使用 sagemaker 设置 EMR 时，我正在使用此快速入门指南 (https://github.com/aws-quickstart/quickstart-hail)。

由于安全要求，我必须启用 kerberos（EMR 集群中的本地 KDC），并且我参考了本指南 (https://aws.amazon.com/blogs/machine-learning/securing-data-analytics-with-an-amazon-sagemaker-notebook-instance-and-kerberized-amazon-emr-cluster/) 来设置 Kerberos。

一切都运行良好，除了散景图由于访问限制而无法保存。 (

我尝试通过 sagemaker 笔记本（通过 sparkmagic + livy）运行 ls -la /，但绘图路径 /plots 和 /var/www/html/plots 未显示且无法访问。

但是，当使用 ssh 到主节点运行 ls -la 时，我能够看到这些文件夹路径。使用chmod -R 777 /var/www 更改权限也不能解决此问题。

知道是否有一个 kerberos/livy 设置可以隐藏/保护某些文件路径免受 kerberos 身份验证用户的访问？

【问题讨论】：

标签： kerberos amazon-emr livy

【解决方案1】：

我找到了发生这种情况的原因。

当对 EMR 使用 Kerberos 身份验证时，sparkmagic 在 core node 而不是 master node 中启动 spark 上下文。因此，它们是 2 个独立的文件系统，因此我无法看到在 master node 而不是 core node 上创建的路径

【讨论】：