【发布时间】:2013-02-06 02:24:33
【问题描述】:
在分布式 Hadoop 集群上,我可以将相同的 hdfs-site.xml 文件复制到 namenodes 和 datanodes 吗?
我见过的一些设置说明(即 Cloudera)说在 datanodes 上的这个文件中有 dfs.data.dir 属性,在 namenode 上的这个文件中有 dfs.name.dir 属性。这意味着我应该有两份 hdfs-site.xml 副本,一份用于名称节点,一份用于数据节点。
但如果一切都一样,我宁愿只拥有/维护一份文件副本,并在我更改它时将其推送到所有节点。 在同一个文件中同时拥有 dfs.name.dir 和 dfs.data.dir 属性是否有任何危害/风险?如果数据节点看到 "dfs.name.dir" 的属性,可能会发生什么问题? 如果有问题,namenode 上的 hdfs-site.xml 文件中应该有哪些其他属性,而不是 datanode 上的?反之亦然。
最后,我复制到客户端计算机的 hdfs-site.xml 文件中需要包含哪些属性(不是 tasktracker 或 datanode,而是与 Hadoop 集群通信)?
我四处搜索,包括 O'reilly 操作书,但找不到任何描述配置文件需要如何在不同节点之间有所不同的好文章。 谢谢!
【问题讨论】:
标签: hadoop configuration-files hdfs