无法在 yarn 模式下访问 Spark web-ui答案

【问题标题】：unable to access Spark web-ui in yarn mode无法在 yarn 模式下访问 Spark web-ui
【发布时间】：2015-12-26 10:06:35
【问题描述】：

我正在远程集群设置（4 个节点）上运行 Spark 应用程序。

当我使用以下命令在远程机器上以本地模式运行应用程序时，

spark-submit --class "Main" --master local[*] target/scala-2.10/myapponspark_2.10-1.0.jar

我在日志中收到以下消息，

INFO ui.SparkUI: Started SparkUI at http://ab2.xxx.in.yyy.com:4041

并且能够通过http://ab2.xxx.in.yyy.com:4041 访问 Spark 网络用户界面。

但是，当我在 yarn-client(或 yarn-cluster) 模式下运行时，通过给出以下命令

spark-submit --class "Main" --master yarn-client target/scala-2.10/myapponspark_2.10-1.0.jar

出现相同的日志消息，指出 Spark web-ui 的启动地址与上述相同。但我无法从浏览器访问该网页。可能是什么原因？

【问题讨论】：

【解决方案1】：

尝试从您提交 Spark 作业的计算机访问浏览器。或者 ssh 使用下面的命令

$ssh -X uname@ip_address

然后使用远程打开firefox

$firefox &

也许您可以查看 Spark UI。

【讨论】：