AWS Spark 独立集群未启动答案

【问题标题】：AWS Spark standalone cluster does not startAWS Spark 独立集群未启动
【发布时间】：2018-06-25 05:32:55
【问题描述】：

我有一个 ASW EC2 节点。我已经在节点上安装了 Apache spark。

我使用这样的命令来启动集群：

spark-ec2/spark-ec2 -k NAME_OF_KEY_PAIR --identity-file=PATH_TO_PEM_FILE --region=us-west-2 --zone=us-west-2a --copy-aws-credentials start NAME_OF_YOUR_CLUSTER

当我启动集群时，我收到如下消息：

与 ec2-34-214-104-6.us-west-2.compute.amazonaws.com 的连接已关闭。

Spark 独立集群开始于 http://ec2-38-218-104-6.us-west-2.compute.amazonaws.com:8080.

Ganglia 开始于 http://ec2-388-218-104-6.us-west-2.compute.amazonaws.com:5080/ganglia。

但是，为 spark 独立集群提供的 URL 上没有运行任何内容。 Ganglia URL 确实有效。

【问题讨论】：

标签： amazon-web-services apache-spark amazon-ec2

【解决方案1】：

您确定实例中打开了所需的端口吗？默认情况下，只有 SSH 是打开的，它也绑定到您的 IP。

试试看这个AWS Documentation

谢谢

【讨论】：

这就是问题所在！我添加了一条规则以允许端口 8080 通过并且它有效！非常感谢。
很高兴能提供帮助，您能否将答案标记为已解决。