如何使用 GCP 实例访问 Spark Web UI？答案

【问题标题】：How can I access spark web UI using GCP instance?如何使用 GCP 实例访问 Spark Web UI？
【发布时间】：2020-03-23 20:27:27
【问题描述】：

我在 Google Cloud Platform 实例（hana express）上使用 spark。

我安装了 spark 并运行了 spark shell，然后 shell 运行良好，但我无法访问 spark web UI。
我在实例中添加了防火墙规则，但仍然不起作用。
我添加了屏幕截图。

谢谢。

【问题讨论】：

请在您的问题中包含代码和输出作为文本，而不是图片。以目前的形式，它在许多设备上是不可读的，并且对于辅助技术来说基本上是不可见的。
这是内部 DNS。
感谢 cmets

标签： apache-spark google-cloud-platform

【解决方案1】：

查看控制台消息：

...
Spark context Web UI available at http://sap-hanaexpress-serverinclapps-1-vm.c.hana.271411.internal:4040
...

您无法从远程 PC 访问在 http://sap-hanaexpress-serverinclapps-1-vm.c.hana.271411.internal:4040 运行的 Web UI。正如 @Lamanus 所述，此记录仅供内部使用。看看文档Internal DNS：

Google Cloud 上的虚拟私有云网络具有内部 DNS 允许同一网络中的实例通过以下方式相互访问的服务使用内部 DNS 名称。虚拟机 (VM) 的内部 A 记录在.internal 的 DNS 区域中创建实例。虚拟机的 PTR 记录在相应的反向区域中创建实例。当你管理您的实例，Google Cloud 会自动创建、更新和删除这些 DNS 记录。

和

VM 实例的内部 DNS 名称仅解析为其主要内部 IP 地址。 内部 DNS 名称不能用于连接到实例的外部 IP 地址。

要解决此问题请按照以下步骤操作：

按照控制台消息中的建议将SPARK_LOCAL_IP="<IP address>" 添加到您的配置文件中，其中IP address 是您VM 的本地IP
set network tag 给你的虚拟机
create firewall rule 在端口 4040 上启用与 VM 的传入连接
通过在您的电脑上运行 nmap -Pn EXTENAL_IP_OF_YOUR_VM 检查您的防火墙
通过浏览器检查 Web UI http://EXTENAL_IP_OF_YOUR_VM:4040

【讨论】：