火花独立集群 - 创建输出文件的权限问题

Question

我正在使用 spark 独立集群（Linux 平台和 python 应用程序），使用 nfs 在 master 和 worker 机器之间共享文件。我正在尝试使用一台主机和一台工作机并能够提交应用程序，它在工作机上运行，​​但无法创建输出文件（使用 spark saveAsTextFile），抛出 mkdir failed 错误。在主机器和工作机器中，nfs 目录都有权创建和删除文件，我可以手动创建它，但是当 spark 尝试在该目录中创建文件时，它会创建临时文件夹（ _temporary 和 0 文件夹）但无法创建零件文件。 我曾尝试使用“chmod -R 777”，但仍然失败。有什么办法让它工作！

提前致谢

Answer 1

这似乎是一个特权问题。 在 NFS 中创建目录时，您必须使用

提供目录权限

chown username:groupname path-of-the-NFS-directory

然后您必须使用特权用户或组运行 spark 应用程序。

如果您仍然面临这个问题 你可以试试这些

chgrp 组名路径-of-the-NFS-directory

然后试试，

chmod 777 NFS 目录路径

这会起作用。