Hadoop YARN 无法从数据节点启动资源管理器（EC2 上的 Ubuntu 16.04）

Question

我正在尝试使用 AWS EC2s 在 4 个节点上构建一个 Hadoop 集群，所有 Ubuntu 16.04。

似乎一切正常，在格式化 namenode 或运行 start-dfs.sh 和 start-yarn.sh 时，日志文件不会产生任何错误

但是当我尝试将文件上传到 HDFS 时，数据节点似乎无法连接到资源管理器。 namenode 上的一般错误告诉我有 0 个节点正在运行，数据节点的日志文件告诉我：

INFO org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl: Registering with RM using containers :[]
INFO org.apache.hadoop.ipc.Client: Retrying connect to server: ip-10-0-0-190.eu-central-1.compute.internal/10.0.0.190:8025. Already tried 0 time(s); maxRetries=45

它指向namenode的私有IP地址（10-0-0-190），同一VPC中的不同EC2实例。

yarn-site.xml 对于每个节点（数据节点和名称节点）看起来都一样，都指向名称节点：

<?xml version="1.0"?>
<!--
  ...
-->
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>10.0.0.190:8025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>10.0.0.190:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>10.0.0.190:8050</value>
    </property>
</configuration>

根据这些日志错误/警告，我找不到我做错了什么，而且我发现很难判断出了什么问题。

非常感谢您的帮助！如果需要，我可以提供更多详细信息/日志/配置详细信息。

Answer 1

您是否更新了数据节点中的 /etc/hosts 文件？还要在数据节点上运行 jps 命令来查看它们是否正在运行。