窄依赖:Narrow Dependency

父RDD和子RDD是一对一的依赖关系,如map,filter

宽依赖:Shuffle Dependency

本质就是shuffle。如reduceByKey,groupyByKey,父RDD一个分区数据给了子RDD的多个分区

存在shuffle就是宽依赖,否则就是窄依赖

宽依赖与窄依赖

窄依赖的函数有:map, filter, union, join(父RDD是hash-partitioned ), mapPartitions, mapValues 
宽依赖的函数有:groupByKey, join(父RDD不是hash-partitioned ), partitionBy

相关文章:

  • 2021-09-01
  • 2022-01-15
  • 2022-01-08
  • 2021-11-26
  • 2022-12-23
  • 2021-11-16
  • 2021-09-22
猜你喜欢
  • 2021-09-25
  • 2021-07-23
  • 2022-01-21
  • 2022-03-05
相关资源
相似解决方案