具有多个 UI 的本地转发

【问题标题】：local forwarding with multiple UI具有多个 UI 的本地转发
【发布时间】：2021-03-24 02:18:06
【问题描述】：

我可能有一个愚蠢的问题。我在远程 EC2 上运行 spark，我想使用它提供的 UI。根据官方文档https://spark.apache.org/docs/latest/spark-standalone.html 我需要在本地浏览器上运行地址http://localhost:8080。但是当我这样做时，我的 Airflow UI 会打开。如何将其设置为 Spark？任何帮助表示赞赏。

另外根据这个文档https://spark.apache.org/docs/latest/monitoring.html，我尝试运行http://localhost:18080，但它不起作用（我做了所有设置才能看到历史服务器）。

编辑：我还在 spark 中尝试了命令 sc.uiWebUrl ，它提供了一个私有 DNS 'http://ip-***-**-**-***.ap-northeast-1.compute.internal:4040' 。但我不确定如何使用它。

【问题讨论】：

标签： apache-spark user-interface airflow ssh-tunnel

【解决方案1】：

我假设您使用以下命令 ssh 进入您的 EC2 实例：

ssh -i /path/my-key-pair.pem my-instance-user-name@my-instance-public-dns-name

要连接到 spark UI，您可以在 ssh 中添加端口转发选项：

ssh -L 8080:localhost:8080 -i /path/my-key-pair.pem my-instance-user-name@my-instance-public-dns-name

然后您可以在本地计算机上打开浏览器并转到http://localhost:8080。

如果您需要转发多个端口，您可以链接-L 参数，例如

ssh -L 8080:localhost:8080 -L 8081:localhost:8081 -i /path/my-key-pair.pem my-instance-user-name@my-instance-public-dns-name

注意：检查 Spark 端口号是否正确，有时是 4040，有时是 8080，这取决于您部署 spark 的方式。

【讨论】：