在 Apache Spark 中创建 DAG答案

【问题标题】：DAG creation in Apache Spark在 Apache Spark 中创建 DAG
【发布时间】：2018-05-28 09:46:23
【问题描述】：

在 Apache Spark 中，我知道当我使用一些转换函数时，所有函数都存储为 DAG，当我调用一个动作时，Spark 会从该 DAG 运行所有必需的转换函数，直到动作函数。所以，假设我有

所以，我的问题是在第 2 步调用第一个操作之后，dag 是否被删除，当调用第二个操作时，新的 DAG 是从第 3 步创建的，还是从第 1 步创建的新 DAG？

【问题讨论】：

【解决方案1】：

Spark 使用弹性分布式数据集 (RDD)，它表示数据的集合。 Spark 可以将其存储在分布式内存中。如您所述，RDD 构建在 DAG 中。

在你的情况下：

【讨论】：

感谢您的回复。所以你的意思是说，在步骤 2 的计算之后，来自步骤 1-2 的 DAG 将被删除，只有步骤 2 的输出 RDD 的值将被进一步使用，并且只会为步骤 3-4 创建新的 DAG。 Spark 不会重新计算步骤 1 中的值。如果我错了，请纠正我。谢谢。
我不知道（也不认为这很重要）旧的 DAG 是否会在技术上被删除。重要的是，Spark 不会重新计算第 1 步的值，但会使用第一个 Action 的输出。你说的对。这种技术称为惰性评估。
非常感谢，这就是我想澄清的。我遇到了一个错误，因为我在许多转换函数之后执行了一个操作，所以它给了我 stackoverflow 错误和一些树错误。所以。当我在两者之间使用一些操作来减少 DAG 的长度时，它起作用了，尽管它需要更多的时间来计算。
是的，这确实有道理。我很高兴能帮上忙。