我们如何预先确定 Spark 作业的数量？

Question

根据我的经验，Spark 驱动程序可以为给定的应用程序运行多个作业，这些作业被分解为每个执行程序分阶段的任务。

我似乎无法理解的是，一个 sparkcontext 何时以及为什么会运行超过 1 个作业？

Answer 1

动作和工作之间存在 1..* 关系。每个操作至少需要一个作业，但可能会透明地触发其他操作（例如计算统计数据）。