对DAG的粗略理解
当一个job提交后,最后一个RDD执行action算子从所有的父级依赖查找shuffle依赖,找到shuffle依赖后创建一个shuffle map stage,在stage中的必定是narrow依赖,narrow依赖中的是task任务,有多少个partition就有多少个task,多个task称作taskset任务集,一个任务集就是一个stage,task在进程上运行,运行完后释放所有资源。

RDD(弹性分布式数据集):是一个抽象概念,spark计算过程中一个瞬时结果。
shuffle依赖:宽依赖,父级RDD的分区被子级RDD多个分区所使用。
narrow依赖:窄依赖,父级RDD的分区被子级RDD一个分区使用。
task:是spark中最小的计算单元。

有不对的地方还希望有大神指出来,及时改正,感谢。

相关文章:

  • 2022-02-07
  • 2021-12-18
  • 2022-12-23
  • 2022-12-23
  • 2021-06-07
  • 2021-12-04
  • 2022-12-23
  • 2021-10-26
猜你喜欢
  • 2021-10-17
  • 2021-04-10
  • 2021-07-26
  • 2021-12-31
  • 2021-11-08
  • 2021-08-29
相关资源
相似解决方案