使用 hadoop fs -ls / 列出时出现未知主机错误答案

【问题标题】：Unknown host error when listing with hadoop fs -ls /使用 hadoop fs -ls / 列出时出现未知主机错误
【发布时间】：2015-07-17 12:37:38
【问题描述】：

我是 Hadoop 新手，正在尝试在 VM 上的 ubuntu 14.04-Server 上的多节点集群上安装 Hadoop。一切顺利，直到我尝试使用 hadoop fs -ls / 列出 HDFS 中的文件

我不断收到错误：

ls：未知主机：Hadoop-Master。

最初我以为我在分配主机名时犯了一些错误，但与/etc/hosts 和/etc./hostname 进行了交叉检查。主机名正确列为 Hadoop-Master。完全删除了主机名。只剩下IP地址。

Another post here建议在.bashrc后面加两行：

导出 HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib

我尝试这样做，但仍然遇到同样的错误。请在下面找到相关步骤以及根据询问的信息进行的编辑。

使用 ifconfig 检查主服务器的 IP 地址
添加到 /etc/hosts 并编辑 /etc/hostname 以添加主机名。
为masters和slave添加相关细节。

.bashrc 文件

export HADOOP_INSTALL=/usr/local/hadoop
export PIG_HOME=/usr/local/pig
export HIVE_HOME=/usr/local/Hive

export PATH=$PATH:$HADOOP_INSTALL/bin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

Java 路径 export JAVA_HOME='/usr/lib/jvm/java-7-oracle'

core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs:Hadoop-Master:9001</value>
</property>
</configuration>

hadoop-env.sh

export JAVA_HOME='/usr/lib/jvm/java-7-oracle'

编辑 mapred-site.xml 以包含主机名并将值更改为 no。存在的节点数。 mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>2</value>
</property>
</configuration>

编辑 hdfs-site.xml，将值改为 no。存在的数据节点。 hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hduser/mydata/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hduser/mydata/hdfs/datanode</value>
</property>
</configuration>

谁亲简单学习

/etc/hosts 本地主机 127.0.0.1 Hadoop-Master 192.168.207.132 Hadoop-Slave 192.168.207.140

/etc/主机名 Hadoop-Master

【问题讨论】：

尝试从Hadoop-Master 中的/etc/hosts 中删除-。
我这样做了，但同样的错误：警告：$HADOOP_HOME 已弃用。 ls: 未知主机：Hadoop-Master...
您现在可以为hadoop fs -ls / 发布错误吗？
没有变化。 ls: 未知主机：Hadoop-Master。
@RajeshN 好吧，完全没有变化。 "$HADOOP_HOME 已弃用。ls: Unknown host: Hadoop-Master"

标签： linux hadoop hdfs

【解决方案1】：

要进行的更改：

1. /etc/hosts 文件：

将Hadoop-Master 更改为HadoopMaster

2。 /etc/hostname 文件：

将Hadoop-Master 更改为HadoopMaster

3.核心站点.xml：

改变这个

hdfs:Hadoop-Master:9001

到这里

hdfs://HadoopMaster:9001

注意：在所有指向您的 IP 的节点中将 Hadoop-Master 更改为 HadoopMaster。更改 slaves 和 master 文件。

【讨论】：