【问题标题】:Spark RDD MemorySpark RDD 内存
【发布时间】:2021-01-31 13:34:02
【问题描述】:
val rddMap = rdd.map(x=>x*x)
val rddReduce = rddMap.reduce((a:Int,b:Int) => a + b)

数据会在哪一步加载到worker节点的Memory中?

【问题讨论】:

  • 第二步,因为它是一个动作,而第一步是一个转换

标签: apache-spark memory rdd


【解决方案1】:

要将数据加载到内存中,您需要在代码中使用.cache

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2015-07-08
    • 1970-01-01
    • 2015-10-11
    • 2015-08-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-01-20
    相关资源
    最近更新 更多