【问题标题】:Apache Spark Rdd persistApache Spark Rdd 坚持
【发布时间】:2016-11-16 18:33:30
【问题描述】:

一旦我们将 RDD 持久化到内存中,它会在内存中存在多长时间?如果我们从 spark shell 中出来,我们可以访问相同的内容吗?

【问题讨论】:

  • 最好的方法是查询它并找出。
  • 哦! gr8 答案
  • RDD 在 spark executor JVM 中存储为反序列化的 java 对象。只要 JVM 处于活动状态,它们就会继续存在,并且在退出 spark shell 时不再存在(即垃圾收集)。
  • gr8 回答 gr8 问题
  • @ Raghuveer frm whr 你得到了这么棒的答案吗yaar lol........你可以自己尝试的一切然后你在stackoverflow中尝试......:D

标签: apache-spark rdd


【解决方案1】:

如果您从 shell 中出来,那么您的 RDD 将不再可访问或在内存中以供下一个 spark-shell 实例或任何其他进程使用。

【讨论】:

    猜你喜欢
    • 2014-05-13
    • 1970-01-01
    • 2021-11-15
    • 2017-03-07
    • 1970-01-01
    • 2015-06-15
    • 2023-03-17
    • 2016-12-06
    • 1970-01-01
    相关资源
    最近更新 更多