spark 是否会重新计算在新作业中重新保存到磁盘的 RDD？

Question

假设我的 Spark 应用程序由 2 个作业组成。

Job-1：由单个stage组成，stage的结果被持久化

rdd1.persist(DISK_ONLY)

Job-2：使用计算的rdd1。但是，当我查看Execution DAG 时，我看到导致 job-1 中 rdd1 的所有步骤都表示为蓝色框。虽然实际的 rdd 是绿色的。

这是否意味着导致 rdd 的操作实际上被跳过了？

Answer 1

没有 这实际上是 SparkUI 的一个缺点。它只会计算 rdd1 之后的步数。虽然它会以蓝色显示完整的阶段。