【问题标题】:Hadoop - 3 Data nodes are alive up and running but the report/url is not showing the live data nodesHadoop - 3 个数据节点已启动并正在运行,但报告/url 未显示实时数据节点
【发布时间】:2016-07-16 12:53:27
【问题描述】:

我有一个名称节点(主节点)和 3 个数据节点(从节点)。我在名称节点本身中配置了一个数据节点,它工作正常并显示在报告中。所有守护进程都单独运行,但 3 个数据节点(从节点)未列在 hadoop dfsadmin -report 中。

当 jps 启动时,一切看起来都很好。 :

命名节点

[hadoop@master ~]$ jps
4338 Jps
2114 NameNode
2420 SecondaryNameNode
2696 NodeManager
2584 ResourceManager
2220 DataNode

从属节点 [hadoop@slave1 ~]$ jps 2114 节点管理器 2229 日元 2015数据节点

从节点

[hadoop@slave2 ~]$ jps
2114 NodeManager
2229 Jps
2015 DataNode

从属节点 [hadoop@slave3 ~]$ jps

2114 NodeManager
2229 Jps
2015 DataNode 

[hadoop@master ~]$ **hadoop dfsadmin -report**
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

16/07/14 21:27:46 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Configured Capacity: 7092494336 (6.61 GB)
Present Capacity: 1852854272 (1.73 GB)
DFS Remaining: 1852821504 (1.73 GB)
DFS Used: 32768 (32 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

Live datanodes (1):

Name: 192.168.1.160:50010 (nn1)*(### comment - this is data node configured in the name node itself)*
Hostname: nn1
Decommission Status : Normal
Configured Capacity: 7092494336 (6.61 GB)
DFS Used: 32768 (32 KB)
Non DFS Used: 5239640064 (4.88 GB)
DFS Remaining: 1852821504 (1.73 GB)
DFS Used%: 0.00%
DFS Remaining%: 26.12%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Jul 14 21:27:46 IST 2016

【问题讨论】:

    标签: hadoop centos hadoop-yarn hadoop2


    【解决方案1】:

    此问题已解决 - 问题只是因为数据节点/从属节点无法与主节点通信。这是因为主节点中的防火墙系统不接受来自数据节点的传入连接。有两种方法可以应对这种情况

    1. 您必须允许主节点中从节点的 (IP) 传入通信
    2. 禁用防火墙。

    我使用了第二个选项: 在主节点中键入以下命令以禁用防火墙。

    service iptables save
    service iptables stop
    chkconfig iptables off
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2019-05-23
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多