Spark 在 localhost 上侦听答案

【问题标题】：Spark listens on localhostSpark 在 localhost 上侦听
【发布时间】：2017-02-18 21:23:33
【问题描述】：

我在没有公共 DNS 的机器集群上安装了 spark（只是在云上创建了机器）。 Hadoop 看起来已安装并正常工作，但 Sparks 在 7077 和 6066 上侦听为 127.0.0.1 而不是公共 ip，因此工作节点无法连接到它。

怎么了？

我在主节点上的 /etc/hosts 如下所示：

127.0.1.1 namenode namenode
127.0.0.1 localhost
XX.XX.XX.XX namenode-public
YY.YY.YY.YY hadoop-2
ZZ.ZZ.ZZ.ZZ hadoop-1

我的 $SPARK_HOME/conf/spark-env.sh 看起来像：

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export SPARK_PUBLIC_DNS=namenode-public
export SPARK_WORKER_CORES=6
export SPARK_LOCAL_IP=XX.XX.XX.XX

sudo netstat -pan|grep 7077

tcp        0      0 127.0.1.1:7077          0.0.0.0:*               LISTEN      6670/java

【问题讨论】：

【解决方案1】：

您应该在spark-env.sh 中指定SPARK_MASTER_HOST（它必须是从节点可见的您机器的地址）。此外，您可能需要在 iptables 中添加端口 7077 和 6066 的规则。

【讨论】：