优雅地停止 Spark 批处理作业答案

【问题标题】：Stop Spark batch Job Gracefully优雅地停止 Spark 批处理作业
【发布时间】：2019-04-02 18:24:27
【问题描述】：

我正在处理 spark 作业，它会在表中更新它的执行状态，现在如果表中已经包含成功的执行，我需要优雅地停止 spark 作业。

我试过了

System.exit(0)

但是作业失败了

错误：在报告最终状态之前调用了关闭挂钩。

优雅退出 spark 作业的正确程序是什么。

【问题讨论】：

我刚刚在另一个线程上留下的评论可能是相关的：stackoverflow.com/questions/39580449/…。此外，我对问题的回答解释了您看到的错误的可能原因。

【解决方案1】：

您只需在退出应用程序之前调用sc.stop()（在 SparkContext 上）。

【讨论】：