【发布时间】:2018-09-01 15:56:20
【问题描述】:
我正在使用 Cloudera 5.4.1 和 Spark 1.3.0。当我去 spark 历史服务器时,我可以看到已完成的作业列表和未完成的作业列表。
然而,许多被列为未完成的工作是被杀死的。
那么如何查看“正在运行”的作业列表。不是那些被杀的人。
另外,如何通过从历史服务器获取应用程序 ID 来终止正在运行的 spark 作业?
【问题讨论】:
标签: apache-spark
我正在使用 Cloudera 5.4.1 和 Spark 1.3.0。当我去 spark 历史服务器时,我可以看到已完成的作业列表和未完成的作业列表。
然而,许多被列为未完成的工作是被杀死的。
那么如何查看“正在运行”的作业列表。不是那些被杀的人。
另外,如何通过从历史服务器获取应用程序 ID 来终止正在运行的 spark 作业?
【问题讨论】:
标签: apache-spark
以下来自 Cloudera 文档:
要访问正在运行的 Spark 应用程序的 Web 应用程序 UI,请在 Web 浏览器中打开 http://spark_driver_host:4040。如果多个应用程序在同一主机上运行,则 Web 应用程序将绑定到以 4040 开头的连续端口(4041、4042 等)。 Web 应用程序仅在应用程序期间可用。
第二个问题的答案:
您可以使用 yarn CLI 来终止 Spark 应用程序。
例如:yarn application -kill <application ID>
【讨论】: