【问题标题】:how to access to my browser in local machine from remote machine如何从远程机器访问我在本地机器上的浏览器
【发布时间】:2016-08-31 20:00:31
【问题描述】:

因为我在远程机器上运行 spark 应用程序并且我想查看进度,所以我需要从浏览器访问 spark web UI。

我应该怎么做才能在我的本地计算机上从运行我的 spark 应用程序的远程计算机上运行我的浏览器 firefox?

如果远方(远程)有 IP 地址:

192.yy.yy.yy

知道我用来从本地访问远程机器

ssh name@xx.xx.xx.xx

ps:我只能使用命令与远程机器交互。

【问题讨论】:

    标签: ubuntu browser apache-spark remote-access


    【解决方案1】:

    你只需要将UI端口从服务器转发到本地

    ssh -L 4040:localhost:4040 name@xx.xx.xx.xx
    

    在本地机器上只需访问地址 localhost:4040 即可查看进度。

    参考:https://unix.stackexchange.com/questions/115897/whats-ssh-port-forwarding-and-whats-the-difference-between-ssh-local-and-remot

    【讨论】:

    • 这给了我一个错误,说连接失败:打开失败:连接失败:连接被拒绝通道 3:打开失败:连接失败:连接被拒绝通道 3:打开失败:连接失败:连接被拒绝
    • 你在远程运行哪个端口?
    • 这是我在启动 spark shell 时得到的结果:Spark context Web UI 在 10.xx.xx.xx:4041 可用,但它也不起作用
    • 在此之前,您需要通过netstat -apn | grep 4041 检查 spark UI 是否正在运行。在更改为 4041 ssh -L 4040:localhost:4041 name@xx.xx.xx.xx 之后,仍然可以通过 localhost:4040 在本地访问。
    • 这是远程机器。在这里,您将端口 4040 的请求从本地机器转发到端口 4041 中的远程机器,这些机器目前正在运行 Spark UI。因此,您需要确保远程机器中的端口 4041 正常工作。 ssh -L 4040:localhost:4041 name@xx.xx.xx.xx -> 输入你的本地机器。
    【解决方案2】:

    每个 SparkContext 都会启动一个 Web UI,默认情况下在端口 4040 上显示有关应用程序的有用信息。这包括:

    • 调度程序阶段和任务列表
    • RDD 大小和内存使用情况摘要
    • 环境信息。
    • 有关正在运行的执行程序的信息

    您只需在网络浏览器中打开http://192.yy.yy.yy:4040 即可访问此界面。如果多个 SparkContexts 在同一主机上运行,​​它们将绑定到以 4040 开头的连续端口(4041、4042 等)。

    来源:Monitoring Spark

    现在你有一个管理服务器,你需要创建隧道来访问spark UI,创建隧道使用ssh -L 4041:192.yy.yy.yy:4041 name@xx.xx.xx.xx然后通过localhost:4041访问spark UI

    【讨论】:

    • 我应该使用哪个地址ip,因为当我使用'ifconfig'时,我得到'192.yy.yy.yy',然后我使用'hostname -i,我完全得到其他地址'10.xx。 xx.xx ?
    • @hammad 运行 spark 的远程机器的 ip,你通过 ssh name@xx.xx.xx.xx 连接到远程机器,所以试试 xx.xx.xx.xx:4040
    • 它是一个集群,所以我通过 ssh name@xx.xx.xx.xx 访问一个仅用于管理集群的节点(我无法在其上启动 spark)然后我使用 ' ssh Node1'启动spark和process,Node1有'ifconfigip=192.yy.yy.yy'和'hostname -i-ip='10.xx.xx.xx
    • 好的,这种情况下你需要创建隧道,ssh -L 4041:192.yy.yy.yy:4041 name@xx.xx.xx.xx 然后通过localhost访问spark UI: 4041
    • 是的,您一次可以创建多个隧道,只需使用新的终端窗口
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-09-23
    • 1970-01-01
    • 1970-01-01
    • 2011-11-15
    • 2016-06-09
    相关资源
    最近更新 更多