foreach(较常用)

直接循环遍历RDD中的元素

collect (较常用)
将RDD中的数据收集起来,变成一个Array,仅限数据量比较小的时候。

collectAsMap()
返回hashMap包含所有RDD中的分片,key如果重复,后边的元素会覆盖前面的元素。

reduceByKeyLocally
先执行reduce然后在执行collectAsMap

lookup(较常用) 查找
针对key-value类型的RDD
lookup(V1) 从RDD中找出V1元素。
先查看RDD中是否有分区器,再从分区中找到结果。
如果RDD不包含分区器,则是暴力扫描。

相关文章:

  • 2021-10-03
  • 2022-12-23
  • 2022-12-23
  • 2021-08-04
  • 2021-05-09
  • 2022-12-23
  • 2021-07-13
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-07-17
  • 2021-06-09
相关资源
相似解决方案