EC2 上的 Hadoop Mapreduce 错误 - 从 master/ip 到 master 的调用：9000 失败答案

【问题标题】：Hadoop Mapreduce Error on EC2 - Call from master/ip to master:9000 failedEC2 上的 Hadoop Mapreduce 错误 - 从 master/ip 到 master 的调用：9000 失败
【发布时间】：2016-11-29 20:38:25
【问题描述】：

所以我在私有 AWS VPC 上设置了一个简单的 2 节点 hadoop 集群。所以我使用的是私有 IP 和 DNS，而不是他们给你 AWS 的公共 IP。

我已经启动并运行了 HDFS，我可以使用文件系统来创建和移动文件/目录。但是当我尝试运行简单的 Mapreduce 作业（例如 wordcount）时，出现以下错误：

 Call From master/10.205.232.248 to master:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
java.net.ConnectException: Call From master/10.205.232.248 to master:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

我的 /etc/hosts 如下所示：

10.205.232.248 <master_hostname> ip-10-205-232-248 master
10.205.232.249 <slave_hostname> ip-10-205-232-249 slave
127.0.0.1 localhost.localdomain localhost
127.0.0.1 localhost4.localdomain4 localhost4

我的 core-site.xml：

<property>
 <name>fs.defaultFS</name>
 <value>hdfs://master:9000</value>
</property>

我的 mapred-site.xml：

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapred.job.tracker</name>
                <value>10.205.232.248:9001</value>
        </property>

我的 yarn-site.xml：

        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHander</value>
        </property>

我忽略了哪些配置设置导致出现此连接错误？谢谢！

【问题讨论】：

标签： amazon-web-services hadoop amazon-ec2 mapreduce hadoop-yarn

【解决方案1】：

检查机器中的防火墙，并在 aws 安全组中打开端口（入站和出站）

【讨论】：

我做了，它对所有端口都是开放的。
登录主节点并ping从节点。