RDD之间有一系列的依赖关系,依赖关系又分为窄依赖和宽依赖。

窄依赖

父RDD和子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。不会有shuffle的产生。

宽依赖

父RDD与子RDD partition之间的关系是一对多。会有shuffle的产生。

宽窄依赖图理解

Spark的宽窄依赖

 

Spark的宽窄依赖

 

相关文章:

  • 2021-11-16
  • 2021-09-01
  • 2021-09-22
  • 2021-10-29
  • 2021-06-01
  • 2021-12-12
猜你喜欢
  • 2021-07-23
  • 2022-03-05
  • 2021-08-04
  • 2021-08-30
  • 2021-11-23
  • 2022-01-08
  • 2021-11-26
相关资源
相似解决方案