【问题标题】:Hadoop installation: Namenode cannot be startedHadoop安装:Namenode无法启动
【发布时间】:2015-06-17 11:41:13
【问题描述】:

目前我正在尝试在我的 ubuntu 14.10(32 位 utopic)上安装 hadoop-2.6.0。我按照这里的说明进行操作:

http://www.itzgeek.com/how-tos/linux/ubuntu-how-tos/install-apache-hadoop-ubuntu-14-10-centos-7-single-node-cluster.html#axzz3X2DuWaxQ

但是,当我尝试格式化 namenode 时,无法启动 namenode。

这是我在尝试执行 hdfs 或 hadoop namenode -format 时不断收到的信息:

15/04/11 16:32:13 FATAL namenode.NameNode: Fialed to start namenode
java.lang.IllegalArgumentException: URI has an authority component
    at java.io.File.<init>(File.java:423)
    at             org.apache.hadoop.hdfs.server.namenode.NNSStorage.getStorageDirectory(NNStorage.java:329)
    at
org.apache.hadoop.hdfs.server.namenode.FSEditLog.initJournals(FSEditLog.java: 270)
    at
org.apache.hadoop.hdfs.server.namenode.FSEditLog.initJournalsForWrite(FSEditLog.java:241)
    at     org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:935)
    at     org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1379)
    at     org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1504)
15/04/11 16:32:13 INFO util.ExitUtil: Exiting with status 1
15/04/11 16:32:14 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at ThinkPad-Edge-E540/127.0.1.1
************************************************************/

我是 linux 和 hadoop 的新手。请帮我解决这个问题。另外,当我第一次尝试安装 hadoop 时,我收到如下错误消息:

    java.net.ConnectException: Call From ThinkPad-Edge-E540/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

后来,我卸载了 hadoop 2.6.0,现在我正在尝试按照上面链接中显示的当前说明进行操作。

更新

我已经删除了我在以前版本中安装的所有以前安装的 java (jdk1.7.0)。但是错误信息仍然存在。

更新

这是在我的 etc/hosts 中显示的内容:

127.0.0.1 localhost
127.0.1.1 myname-mycomputer (I have commented out this line per suggestion)

#The following lines are desirable for IPv6 capable hosts
::1       ip6-localhost  ip6-loopback
fe00::0   ip6-localnet
ff00:0    ip6-mcastprefix
ff02::1   ip6-allnodes
ff02::2   ip6-allrouters

【问题讨论】:

  • 删除 /etc/hosts 文件中带有127.0.1.1 的行。
  • 不工作。现在连新的错误:java.net.UnkownHostException
  • java.net.UnkownHostException 发生错误,因为您的 IP 地址没有指向您的 /etc/hosts 文件中的主机名。我添加了一个答案,试试吧。

标签: java linux ubuntu hadoop connectexception


【解决方案1】:

/etc/hosts:

1.添加这一行:

your-ip-address    your-host-name

例如:192.168.1.8 master

/etc/hosts:

2。删除带有127.0.1.1的行(这会导致回环)

3.在您的核心站点中,将localhost 更改为your-ipyour-hostname

现在,重启集群。

【讨论】:

  • 我尝试使用 ifconfig 获取我的 IP 地址。它显示了两个结果:1)。 lo(本地环回):inet 地址:127.0.0.1 掩码:255.255.255.0。 2)wlan0(以太网):inet addr:10.0.0.10 Bcast:10.0.0.255 Mask:255.255.255.0。我应该使用哪个?这似乎是动态地址,如果我更改网络连接会起作用吗?谢谢
  • 另外,我的hdfs-site.xml中没有localhost。 (请参阅此处的说明:itzgeek.com/how-tos/linux/ubuntu-how-tos/…
  • 根据您的建议更改我在 /etc/hosts 中的 ip 地址后(在这种情况下我使用 10.0.0.10),错误消息没有更改。
  • 尝试将localhost 中的core-site.xml 更改为您的IP。你能发布你的主机文件吗?
  • 我已经在原始问题中做到了。我已经放弃了这个指令。我遵循了另一个指令,它工作正常! bogotobogo.com/Hadoop/…
【解决方案2】:

当我在 hdfs-site.xml 中为 namenode 和 datanode 指定了错误的路径以及在 core-site.xml 中的 tmp dir 路径时,会出现此问题, 路径应该格式正确,例如 -

<property>
    <name>dfs.namenode.edits.dir</name>
    <value>file:///home/hadoop/hadoop-content/hdfs/namenode</value>
</property>

<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///home/hadoop/hadoop-content/hdfs/datanode</value>
</property>

对于 core-site.xml 中的临时目录,它就像 -

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop-content/tmp</value>
</property>

有时我们在指定时会出错 - file:///

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-02-15
    相关资源
    最近更新 更多