NFS 上的 Hadoop 集群

Question

我正在尝试使用 NFS 在同一局域网上的 5 台机器上设置一个 hadoop 集群。我面临的问题是一台机器上的hadoop副本在所有机器上都复制了，所以我不能为每个从机提供专有属性。因此，我得到“无法创建锁”类型的错误。常见问题解答建议不应使用 NFS，但我别无选择。 有没有办法可以指定属性，例如，Master 应该从 location1 中选择它的 conf 文件，slave1 应该从 location2 中选择它的 conf 文件.....

Answer 1

需要明确的是，计算节点和 HDFS 存储的配置之间存在差异。您的问题似乎只是配置的存储。这可以而且应该在本地完成，或者至少让每台机器根据一些本地识别的配置映射到一个符号链接（例如 Mach01 -> /etc/config/mach01，...）。

（修订版 1）关于下面关于符号链接的评论/问题：首先，我承认这不是我可以立即解决的问题。我看到了两种方法：

1. 在机器上有一个脚本（例如在启动时或作为启动 Hadoop 的包装器）确定 NFS 目录结构中正确目录的主机名（例如 hostname -a') which then identifies a local symlink (e.g./usr/local/hadoopConfig'）。
2. 根据本地机器的主机名设置一个环境变量，比如HADOOP_HOME，并让各种脚本使用它。

虽然 #1 应该可以工作，但它是一种转发给我的方法，而不是我设置的方法，如果主机名配置错误（这可能发生），我会有点担心符号链接。方法 #2 似乎更稳健。