Hadoop 用户/文件夹权限

Question

我想为每个用户创建目录。

我查看了几个操作方法，他们说了不同的话， 我希望它尽可能简单（我不关心加密，因为用户将使用他们的 ssh 密钥登录机器）

我找到了这个小指南： hadoop user file permissions

但是有几个问题，

1. 我是否也需要在每台从机/节点机器上创建目录和用户？

2. /user/myuser 文件夹到底是什么？它应该是 $HADOOP_HOME/etc/hadoop/hdfs-site.xml 文件中的 /opt/hadoop/dfs/name/data (dfs.data.dir) 文件夹吗？

3. 我是否还需要为每个用户提供/创建一个dfs.name.dir 目录？

创建用户和目录后，我是否需要在用户的 .bashrc 文件中添加一些参数或赋予他们特定的权限以使用 hadoop 命令？ （例如放置/删除文件，创建目录...）

还有什么我忘记了吗？

附言 如果这很重要，我的 Hadoop 可以使用 sparks。

Answer 1

我是否也需要在每台从机/节点机器上创建文件夹和用户？

没有。通过程序或简单地使用hadoop fs -mkdir /foo在master上创建文件夹就足够了

这个 /user/myuser 文件夹到底是什么？它应该是 $HADOOP_HOME/etc/hadoop/hdfs-site.xml 文件中的 /opt/hadoop/dfs/name/data ( dfs.data.dir ) 文件夹吗？

该文件夹是您对 Linux 上 home 下的标准用户目录的期望。运行作业/任务/程序的用户在其文件夹中具有权限。请注意，HDFS 默认不会创建这些目录，除非用户是使用 Apache Ambari 或 Hue 之类的工具添加的。

我是否还需要为每个用户提供/创建一个 dfs.name.dir 目录？

你没有！他们都共享相同的dfs