【发布时间】:2016-11-16 18:33:30
【问题描述】:
一旦我们将 RDD 持久化到内存中,它会在内存中存在多长时间?如果我们从 spark shell 中出来,我们可以访问相同的内容吗?
【问题讨论】:
-
最好的方法是查询它并找出。
-
哦! gr8 答案
-
RDD 在 spark executor JVM 中存储为反序列化的 java 对象。只要 JVM 处于活动状态,它们就会继续存在,并且在退出 spark shell 时不再存在(即垃圾收集)。
-
gr8 回答 gr8 问题
-
@ Raghuveer frm whr 你得到了这么棒的答案吗yaar lol........你可以自己尝试的一切然后你在stackoverflow中尝试......:D
标签: apache-spark rdd