【发布时间】:2021-01-31 13:34:02
【问题描述】:
val rddMap = rdd.map(x=>x*x)
val rddReduce = rddMap.reduce((a:Int,b:Int) => a + b)
数据会在哪一步加载到worker节点的Memory中?
【问题讨论】:
-
第二步,因为它是一个动作,而第一步是一个转换
标签: apache-spark memory rdd
val rddMap = rdd.map(x=>x*x)
val rddReduce = rddMap.reduce((a:Int,b:Int) => a + b)
数据会在哪一步加载到worker节点的Memory中?
【问题讨论】:
标签: apache-spark memory rdd
要将数据加载到内存中,您需要在代码中使用.cache。
【讨论】: