【问题标题】:Running history server behind reverse proxy在反向代理后面运行历史服务器
【发布时间】:2020-08-23 22:34:26
【问题描述】:

我的用例

  1. 写一个 docker 容器在 18080 端口上运行历史服务器
  2. 拉取容器并在jupyter notebook上运行
  3. 通过将 spark.ui.proxyBase 设置为 /proxy/18080 验证历史服务器在 https://{my-instance-domain-name}/proxy/18080/applications 上成功运行(它在代理后面运行) 这是屏幕截图 History Serve landing page
  1. 单击其中一个应用程序 ID,链接是 https://{my-instance-domain-name}/proxy/18080/history/application_1592874010090_0001/1/jobs/,它永远不会工作,页面永远加载

我发现这个选项spark.ui.proxyRedirectUri 可能有用,但我不确定。有谁知道这里发生了什么?

【问题讨论】:

  • 它失败的原因是由于错误的后缀/proxy/18080/history/application_1592874010090_0001/1/jobs/,如果我手动删除“/1”它可以工作。但是知道为什么网址有这个有线链接吗?

标签: apache-spark


【解决方案1】:

我曾经用 Nginx 和 sub_filter 配置解决它:https://github.com/jahstreet/spark-on-kubernetes-helm/blob/master/charts/spark-cluster/values.yaml#L91-L135。如果需要其他说明,请告诉我。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2013-08-02
    • 2023-03-25
    • 1970-01-01
    • 2020-02-19
    • 1970-01-01
    • 2022-06-13
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多