AWS - Hadoop 集群 - 节点已启动但不工作

Question

我在我的本地服务器中设置了我的 hadoop 集群，它工作正常，我正在将其复制到 AWS 服务器（1 个主 NN、1 个辅助名称节点、7 个从属节点），我能够启动我的 hadoop。但我无法打开像：50070/dfshealth.jsp 这样的页面。我已经正确完成了我的安装和 ssh 公钥身份验证，也与我在本地设置中所做的相同。日志中也没有不寻常的东西。还有什么我可以研究的吗？

Answer 1

如果日志正常，则确保打开了必要的 Hadoop 端口。与您的本地设置不同，在 AWS 中，您应该要求他们打开特定端口。在这种情况下，您必须询问需要打开的 Hadoop http 和 RPC 端口（如果没有）。这肯定会解决问题。

Answer 2

您需要在安全组中打开端口。确保在集群中的所有节点上使用相同的安全组。此外，默认情况下，您只能使用弹性 ip/public dns 进行连接（以 ec2* 开头）。如果你想使用私有 ip，你需要做 SSH 隧道。