Debian 上的单节点 Hadoop：连接异常失败

Question

我在 debian 上安装了 hadoop，运行良好。 （不在VM中）然后我重新启动计算机，它开始出现问题。我得到错误 -

hadoop fs -ls /user/hduser

返回这样的错误 -

16/06/15 10:48:34 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
ls: Call From localhost/127.0.0.1 to mylocalcomp:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

另一方面，jps 显示事情正在运行：

6022 SecondaryNameNode
5840 DataNode
7290 Jps
6413 NodeManager
6309 ResourceManager

我的 core-site.xml 配置

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://mylocalcomp:9000</value>
</property>
</configuration>

我的 /etc/hosts 有这个 -

127.0.0.1       localhost mylocalcomp

如果有帮助的话，我的 Hadoop 版本是 2.7.2。在几个类似的问题中尝试了建议，但不起作用，我现在有点困惑。

在我的 .profile 文件中 -

HADOOP_PREFIX=/usr/local/hadoop
JAVA_HOME=/usr/local/java
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/sbin:$HADOOP_PREFIX/bin
export HADOOP_PREFIX
export JAVA_HOME
export PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"

编辑： 我用 start-dfs.sh 和 start-yarn.sh 启动 hadoop。并使用 /usr/local/hadoop/sbin/hadoop-daemon.sh 启动名称节点启动名称节点。 名称节点在 jps 中只出现几分钟，然后消失。

编辑 2： 我猜问题出在 hdfs-site.xml 中的 namenode 配置（或缺少它）...

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

与这个有点相关 (?) - Namenode not getting started

我不确定在我的案例中使用什么名称节点配置或在哪里...

编辑 3： 日志文件： /usr/local/hadoop/logs/hadoop-hduser-namenode-mylocalcomp.log

Namenode log:
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = mylocalcomp/127.0.1.1
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 2.7.2

Answer 1

9000 是 NameNode 的一个默认 RPC 端口。你还没有启动你的namenode。试试

sbin/hadoop-daemon.sh start namenode

我怀疑在您的计算机重新启动时曾经尝试启动名称节点，但它失败了。因此，如果上面的命令不起作用，请查看 namenode 的日志。