Hadoop 3.1.1 仅显示一个实时数据节点答案

【问题标题】：Hadoop 3.1.1 showing only one live datanodeHadoop 3.1.1 仅显示一个实时数据节点
【发布时间】：2019-05-23 00:34:47
【问题描述】：

我在 3 台虚拟机 上使用 Ubuntu 上的 VMware 安装了 hadoop 3.1.1。当我运行 hdfs namenode -format 和 start-all.sh 时，jps 在我的主节点和两个从节点上正常工作。

但是，使用命令 hdfs dfsadmin -report，我可以看到只有一个实时数据节点（当我检查 master:50070 或 8088 时得到相同的结果）。

我尝试按如下方式禁用防火墙：ufw disable 但它并没有解决问题。 3 台机器可以通过 ping 和 ssh 相互连接（无需密码）。我还删除了带有 datanode 和 namenode 文件夹的 hadoop tmp 文件夹，但效果不佳。还有日志文件中没有显示任何问题。

你有什么解决方案来获得三个实时数据节点而不是一个？谢谢。

这些是我的配置文件：

yarn-site.xml

<configuration>
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>master</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8025</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8035</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8050</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
    <name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop_tmp/hdfs/datanode</value>
    <final>true</final>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop_tmp/hdfs/namenode</value>
    <final>true</final>
</property>
<property>
    <name>dfs.namenode.http-address</name>
    <value>master:50070</value>
</property>
<property>
    <name>dfs.replication</name>
<value>3</value> 
</property>
</configuration>

核心站点.xml

<configuration>
<property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000/</value>
</property>
<property>
    <name>fs.default.FS</name>
    <value>hdfs://master:9000/</value>
</property>
</configuration>

工人

   master
   slave1
   slave2

【问题讨论】：

标签： hadoop hdfs firewall hadoop3 datanode

【解决方案1】：

我找到了解决方案。问题是防火墙。但是“ufw”没有帮助。我需要执行这些命令：

sudo iptables -L -v
sudo iptables -F
sudo iptables -X
sudo iptables -t nat -F
sudo iptables -t nat -X
sudo iptables -t mangle -F
sudo iptables -t mangle -X
sudo iptables -P INPUT ACCEPT
sudo iptables -P FORWARD ACCEPT
sudo iptables -P OUTPUT ACCEPT

【讨论】：