远程使用 Spark 集群

Question

我正在尝试远程使用 spark 集群，所以基本上我有 3 个节点、1 个主节点和 2 个工作节点，离我的笔记本电脑“很远”，但我想用它们来进行计算。 我可以轻松连接到驱动程序键入： ./spark-shell --master spark://xxx.xxx.xxx.xxx:7077

我在驱动程序的 spark web 界面上看到我的应用程序，但没有执行操作，我认为是因为应该连接到我的工作人员有网络问题。 所以我在 spark-env.sh 上设置了我的公共 IP： SPARK_LOCAL_IP=XX.XX.15.215

但这样做我得到：

16/02/11 16:34:04 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.

16/02/11 16:34:04 WARN Utils：服务“sparkDriver”无法在端口 0 上绑定。正在尝试端口 1。 16/02/11 16:34:04 WARN Utils：服务“sparkDriver”无法在端口 0 上绑定。尝试端口 1。 16/02/11 16:34:04 WARN Utils：服务“sparkDriver”无法在端口 0 上绑定。尝试端口 1。 16/02/11 16:34:04 WARN Utils：服务“sparkDriver”无法在端口 0 上绑定。尝试端口 1。 16/02/11 16:34:04 WARN Utils：服务“sparkDriver”无法在端口 0 上绑定。尝试端口 1。 16/02/11 16:34:04 WARN Utils：服务“sparkDriver”无法在端口 0 上绑定。尝试端口 1。 16/02/11 16:34:04 WARN Utils：服务“sparkDriver”无法在端口 0 上绑定。尝试端口 1。 16/02/11 16:34:04 WARN Utils：服务“sparkDriver”无法在端口 0 上绑定。尝试端口 1。 16/02/11 16:34:04 WARN Utils：服务“sparkDriver”无法在端口 0 上绑定。尝试端口 1。 16/02/11 16:34:04 WARN Utils：服务“sparkDriver”无法在端口 0 上绑定。尝试端口 1。 16/02/11 16:34:04 WARN Utils：服务“sparkDriver”无法在端口 0 上绑定。尝试端口 1。 16/02/11 16:34:04 WARN Utils：服务“sparkDriver”无法在端口 0 上绑定。尝试端口 1。 16/02/11 16:34:04 WARN Utils：服务“sparkDriver”无法在端口 0 上绑定。尝试端口 1。 16/02/11 16:34:04 WARN Utils：服务“sparkDriver”无法在端口 0 上绑定。尝试端口 1。 16/02/11 16:34:04 WARN Utils：服务“sparkDriver”无法在端口 0 上绑定。尝试端口 1。 16/02/11 16:34:04 错误 SparkContext：初始化 SparkContext 时出错。

Answer 1

正确的 DNS 条目以及 worker 和 master 能够连接到驱动程序是非常重要的。如果使用主机名无法直接访问它们，您可以在 spark 提交命令中指定 spark.driver.host 和 spark.driver.port。

关于我遇到的类似问题，请参阅this。