如何控制每个任务/阶段/作业尝试的 Spark 应用程序？

Question

我想阻止 Spark 重试 Spark 应用程序，以防引发某些特定异常。我只想在满足某些条件的情况下限制重试次数。否则，我想要默认的重试次数。

请注意，Spark 应用程序只运行一个 Spark 作业。

我尝试在异常情况下设置javaSparkContext.setLocalProperty("spark.yarn.maxAppAttempts", "1");，但它仍然重试整个工作。

我提交 Spark 申请如下：

spark-submit --deploy-mode cluster theSparkApp.jar

我有一个用例，如果输出是由同一个作业的上一次重试创建的，我想删除它，但如果输出文件夹不为空（第一次重试），则作业失败。你能想到任何其他方法来实现这一点吗？

Answer 1

我有一个用例，如果输出是由同一个作业的上一次重试创建的，我想删除它，但如果输出文件夹不为空（第一次重试），则作业失败。你能想到任何其他方法来实现这一点吗？

您可以使用TaskContext 来控制您的 Spark 作业的行为方式，例如重试次数，如下所示：

val rdd = sc.parallelize(0 to 8, numSlices = 1)

import org.apache.spark.TaskContext

def businessCondition(ctx: TaskContext): Boolean = {
  ctx.attemptNumber == 0
}

val mapped = rdd.map { n =>
  val ctx = TaskContext.get
  if (businessCondition(ctx)) {
    println("Failing the task because business condition is met")
    throw new IllegalArgumentException("attemptNumber == 0")
  }
  println(s"It's ok to proceed -- business condition is NOT met")
  n
}
mapped.count