宽依赖和窄依赖

窄依赖:一个RDD,对它的父RDD,只有简单的一对一的依赖关系。也就是说,每个RDD的partition,仅仅依赖于父RDD中的一个partition。父RDD和子RDD的partition之间的关系是一对一的。

宽依赖:本质就是Shuffle,就是每一个父RDD的partition中的数据,都可能会传输一部分,到下一个RDD的每个partition中。此时就会出现,父RDD和子RDD的partition之间,具有交互的关系。

相关文章:

  • 2022-12-23
  • 2021-07-23
  • 2022-03-05
  • 2022-12-23
  • 2021-11-16
  • 2021-09-22
  • 2021-10-29
  • 2022-01-15
猜你喜欢
  • 2021-09-25
  • 2022-01-08
  • 2021-11-26
相关资源
相似解决方案