Apache Spark Jobc 已完成，但 hadoop 作业仍在运行答案

【问题标题】：Apache Spark Jobc complete but hadoop job still runningApache Spark Jobc 已完成，但 hadoop 作业仍在运行
【发布时间】：2017-08-19 23:47:58
【问题描述】：

我正在与 Hadoop 一起运行一个大型 Spark 作业（大约 20TB 并存储到 HDFS）。 Spark 控制台显示作业已完成，但 Hadoop 仍然显示作业正在运行，无论是在控制台中还是在日志中都显示“正在运行”。

我应该等多久才会担心？

【问题讨论】：

【解决方案1】：

您可以尝试干净地停止火花上下文。如果您还没有关闭它，请在作业结束时添加一个 sparkcontext 停止方法。例如

sc.stop()

【讨论】：