添加：spark.yarn.submit.waitAppCompletion=false有什么影响？答案

【问题标题】：What is the impact of adding: spark.yarn.submit.waitAppCompletion=false?添加：spark.yarn.submit.waitAppCompletion=false有什么影响？
【发布时间】：2020-08-17 05:30:46
【问题描述】：

我试图了解在提交 spark 步骤时添加：spark.yarn.submit.waitAppCompletion=false 配置会产生什么影响。据我所知，如果设置为 true，客户端进程将保持活动状态并报告应用程序的状态。否则，客户端进程会在提交后退出。

当集群有KeepJobFlowAliveWhenNoSteps = False 并且提交的步骤有spark.yarn.submit.waitAppCompletion=false 属性时会发生什么？当工作尚未完成时，该步骤是否会被终止，而其他所有步骤都已完成执行？

【问题讨论】：

标签： apache-spark hadoop-yarn amazon-emr

【解决方案1】：

根据我的经验，使用KeepJobFlowAliveWhenNoSteps = False 和spark.yarn.submit.waitAppCompletion=false 的集群将不知道当前步骤的状态，因此它会认为该步骤已完成并移动到下一步或终止集群。

【讨论】：