【问题标题】:Apache Spark: Reference pointer to the parent RDDApache Spark:指向父 RDD 的引用指针
【发布时间】:2017-04-10 02:52:21
【问题描述】:

我了解 SPARK 会维护 RDD 的沿袭信息。假设我有一个 RDD “a”,并对其进行了一些转换,我生成了一个新的 RDD “b”。在这种情况下,“a”是“b”的父 RDD。是否可以通过引用父指针从RDD“b”取回RDD“a”?

谢谢!

【问题讨论】:

    标签: apache-spark spark-streaming


    【解决方案1】:

    这取决于真正的问题是什么:

    • 是 - 例如,如果您扩展 RDD。 compute 方法的大部分实现都是必需的。
    • 否 - 依赖项不可公开访问,因此您无法从 RDD 实例获取父项。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2015-02-13
      • 1970-01-01
      • 2010-12-26
      • 1970-01-01
      • 2013-01-04
      • 2022-01-07
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多