在ec2上安装hadoop答案

【问题标题】：hadoop installation on ec2在ec2上安装hadoop
【发布时间】：2016-02-27 20:38:22
【问题描述】：

我正在尝试通过关注https://dzone.com/articles/how-set-multi-node-hadoop 在 EC2 中安装多节点集群

似乎一切正常：我有一个名称节点和一个数据节点，并且正在运行以下进程：

namenode: 1389 NameNode,1687 JobTracker, 1590 SecondaryNameNode 数据节点：1415 任务跟踪器，1286 数据节点

我可以从“ec2-XX-XXX-XXX-XXX.compute-1.amazonaws.com:50070/dfshealth.jsp”检查名称节点状态并检查 Jobtracker 状态：“ec2-XX-XXX-XXX-XXX .compute-1.amazonaws.com:50030/jobtracker.jsp"

当我尝试检查“ec2-XXX-XX-XXX-XXX-X.compute-1.amazonaws.com:50060/tasktracker.jsp”中的 TaskTracker 状态时出现问题，因为我收到了消息“页面不可用”。

我也尝试过运行 mapreduce 作业：

hadoop jar hadoop-examples-1.2.1.jar pi 10 1000000

但我收到一个错误：

“文件 /user/ubuntu/PiEstimator_TMP_3_141592654/in/part0 只能复制到 0 个节点，而不是 1 个”

谁能帮我解决这个问题？

谢谢

【问题讨论】：

标签： hadoop amazon-web-services amazon-ec2

【解决方案1】：

您是否尝试过将安全组中的入站流量设置为接受端口 50070、50030 和 50060？

hadoop 命令需要一个名为“hadoop-examples-1.2.1.jar”的 jar 任务。检查您是否有一个示例 jar 文件供 hadoop 运行。您可以在“http://www.java2s.com/Code/Jar/h/Downloadhadoopexamples121jar.htm”下载jar文件

【讨论】：