hadoop中core-site.xml中fs.defaultFS属性的含义

Question

我正在尝试以完全分布式模式设置 hadoop，并且在某种程度上我成功地做到了。

但是，我对core-site.xml中的参数设置之一有一些疑问--> fs.defaultFS

在我的设置中，我有如下所述的三个节点：

Node1 -- 192.168.1.2 --> 配置为 Master（运行 ResourceManager 和 NameNode 守护进程）

Node2 -- 192.168.1.3 --> 配置为 Slave（运行 NodeManager 和 Datanode 守护进程）

Node3 -- 192.168.1.4 --> 配置为 Slave（运行 NodeManager 和 Datanode 守护进程）

现在属性fs.defaultFS 是什么意思？例如，如果我这样设置：

<property>
   <name>fs.default.name</name>
   <value>hdfs://192.168.1.2:9000/</value>
</property>

我无法理解 hdfs://192.168.1.2:9000 的含义。我可以弄清楚 hdfs 意味着我们正在使用hdfs 文件系统，但是其他部分是什么意思？

这是否意味着IP地址为192.168.1.2的主机正在9000端口运行Namenode？​​p>

谁能帮我理解这个？

Answer 1

在这段代码中：

<property>
   <name>fs.default.name</name>
   <value>hdfs://192.168.1.2:9000/</value>
</property>

在 core-site.xml 中包含 fs.defaultFS/fs.default.name 以允许 dfs 命令，而无需在命令中提供完整的站点名称。运行 hdfs dfs -ls / 而不是 hdfs dfs -ls hdfs://hdfs/

这用于指定默认文件系统并默认为本地文件系统，这就是为什么需要将其设置为 HDFS 地址的原因。这对于客户端配置也很重要，因此您的本地配置文件应包含此元素。

@Shashank 上面的解释非常恰当：

hdfs://192.168.1.2:9000/。这里 9000 表示 datanode 将向 namenode 发送心跳的端口。而完整地址就是转换成主机名的机器名。

谢谢，

安库尔·辛格

Answer 2

<name>fs.default.name</name>。

这里fs表示文件系统，default.name表示namenode

<value>hdfs://192.168.1.2:9000/</value>。

这里的 9000 表示 datanode 将向 namenode 发送心跳的端口。而完整地址就是转换成主机名的机器名。

关于端口需要注意的一点是，您可以将任何大于 1024 的端口指定为小于必须授予 root 权限的端口。