【问题标题】:Spark History Server .... list of running jobsSpark History Server .... 正在运行的作业列表
【发布时间】:2018-09-01 15:56:20
【问题描述】:

我正在使用 Cloudera 5.4.1 和 Spark 1.3.0。当我去 spark 历史服务器时,我可以看到已完成的作业列表和未完成的作业列表。

然而,许多被列为未完成的工作是被杀死的。

那么如何查看“正在运行”的作业列表。不是那些被杀的人。

另外,如何通过从历史服务器获取应用程序 ID 来终止正在运行的 spark 作业?

【问题讨论】:

    标签: apache-spark


    【解决方案1】:

    以下来自 Cloudera 文档:

    要访问正在运行的 Spark 应用程序的 Web 应用程序 UI,请在 Web 浏览器中打开 http://spark_driver_host:4040。如果多个应用程序在同一主机上运行,​​则 Web 应用程序将绑定到以 4040 开头的连续端口(4041、4042 等)。 Web 应用程序仅在应用程序期间可用。

    For 5.4x For 5.9x

    第二个问题的答案: 您可以使用 yarn CLI 来终止 Spark 应用程序。 例如:yarn application -kill <application ID>

    【讨论】:

      猜你喜欢
      • 2019-11-22
      • 2022-06-19
      • 2021-11-11
      • 2022-01-01
      • 2018-10-29
      • 2017-01-04
      • 1970-01-01
      • 2012-08-03
      • 2015-08-03
      相关资源
      最近更新 更多