Hadoop 配置 - 集群答案

【问题标题】：Hadoop Configuration - ClusterHadoop 配置 - 集群
【发布时间】：2013-11-26 07:16:27
【问题描述】：

Hadoop 的 core-site.xml 和 mapred-site.xml 文件的正确设置是什么？因为我正在尝试运行 hadoop 但收到以下错误：

启动secondarynamenode，登录到/opt/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-secondarynamenode-lbad012.out

lbad012：线程“main”中的异常 java.lang.IllegalArgumentException：不包含有效的主机：端口权限：文件：/ / /

lbad012: 在 org.apache.hadoop.net.NetUtils.createSocketAddr (NetUtils.java: 164)

lbad012 : 在 org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress (NameNode.java : 212)

lbad012 : 在 org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress (NameNode.java : 244)

lbad012 : 在 org.apache.hadoop.hdfs.server.namenode.NameNode.getServiceAddress (NameNode.java : 236)

lbad012 : 在 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.initialize (SecondaryNameNode.java : 194)

lbad012：在 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode。 (SecondaryNameNode.java : 150)

lbad012 : 在 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.main (SecondaryNameNode.java : 676)

【问题讨论】：

您当前的设置是什么？
这是 core-site.xml fs.default.namehdfs://lbad012:9000dfs.permissions name> true 这是 mapred-site.xml mapred.job.trackerlbad012:9001

【解决方案1】：

您没有指定您使用的 hadoop 版本，或者您是否使用 CDH（cloudera 的 hadoop 发行版）

您也没有指定您是否希望在伪分布式、单节点或分布式集群设置中运行。这些选项专门在您提到的文件中设置（核心站点和映射站点）

Hadoop 非常挑剔，因此在提出与 hadoop 相关的问题时，这些细节很重要。

由于您没有指定上述任何内容，我猜您是初学者——在这种情况下，this guide 应该可以帮助您（并向您展示 core-site 和 mapred-site 在伪分布式配置）

无论如何，Hadoop 对他们上传的几乎每个版本的 hadoop 都有一个“快速入门”指南，因此请找到与您正在寻找的版本和设置相关的指南，并且应该很容易完成。

【讨论】：

我正在使用这个版本 1.2.1 并且我没有使用任何 cloudera 并且我打算完成的是具有 1 台主机和 3 台从机的多节点集群。需要更多信息吗？
好的，here you go then
Frankie 感谢您的提示，但我读了又读了一遍，仍然找不到问题所在。
罗德里戈，阅读和三重检查将成为这个过程的一部分哈哈，只是警告。快速浏览一下您发布的配置文件，它们看起来还不错——我会配置其他推荐的字段，但我认为它无论如何都会起作用。首先要做的事情是：确保主机 lbad012 可用，但是由于配置文件看起来不错，也许您没有在正确的目录中运行 hadoop 并且它没有吸入这些配置文件（比您想象的更常见）related discussion here
我检查了 core-site.xml 的配置，还检查了机器之间通过 ssh 的通信，如果我在正确的文件夹中并且一切正常。