1.宽依赖与窄依赖

关于Spark的知识点

针对不同的转换函数,RDD之间的依赖关系分为窄依赖(narrow dependency)和宽依赖(wide dependency,也成shuffle dependency)。

窄依赖:

窄依赖是指1个父RDD分区对应1个子RDD的分区,换句话说,一个父RDD的分区对应于一个子RDD的分区,或者多个父RDD的分区对应于一个子RDD的分区。所以窄依赖又可以分为两种情况:

# 1个子RDD的分区对应于1个父RDD的分区 比如 map、filter、union等算子

#1个子RDD的分区对应与N个父RDD的分区,比如co-partioned join

宽依赖:

宽依赖是指1个父RDD分区对应多个子RDD分区,宽依赖分两种情况

#1个父RDD对应非全部多个子RDD分区,比如groupBykey、reduceBykey、sortBykey

#1个父RDD对应所有子RDD分区,比如未经协同划分的join

相关文章:

  • 2021-10-29
  • 2022-12-23
  • 2021-12-11
  • 2021-05-26
  • 2022-01-28
  • 2022-02-15
  • 2021-07-11
  • 2021-10-01
猜你喜欢
  • 2021-05-06
  • 2021-09-16
  • 2022-12-23
  • 2021-11-01
  • 2021-11-23
  • 2021-12-05
相关资源
相似解决方案