架构图:

Spark2.3.2源码解析: 10. 调度系统 Task任务提交 (二) TaskScheduler ​​

 

首先写一个WordCount代码(这个代码,为了观察多个suffle操作,我写了两个reducebykey 函数)

源代码:

Spark2.3.2源码解析: 10. 调度系统 Task任务提交 (二) TaskScheduler ​​

 

直接执行代码,查看spark执行程序时,将代码划分stage生成的DAG流程图

 

Spark2.3.2源码解析: 10. 调度系统 Task任务提交 (二) TaskScheduler ​​

可知: WordCount 在stage划分的时候,划分为三个stage 

即在代码中如下标识:

Spark2.3.2源码解析: 10. 调度系统 Task任务提交 (二) TaskScheduler ​​

 

 

本文继续说task的执行流程。

接上文: 

Spark2.3.2源码解析: 10. 调度系统 Task任务提交 (一) DAGScheduler 之 stage 提交

https://mp.csdn.net/postedit/85201386

 

接着调用执行的是:

org.apache.spark.scheduler.TaskSchedulerImpl#submitTasks

好,接下来开始讲解:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

未完待续。。。。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

相关文章:

  • 2021-07-10
  • 2021-11-06
  • 2022-01-10
  • 2021-09-04
  • 2021-12-30
  • 2022-12-23
  • 2021-09-15
  • 2021-08-13
猜你喜欢
  • 2021-06-22
  • 2021-10-04
  • 2022-01-18
  • 2021-09-11
  • 2021-06-23
  • 2021-06-13
  • 2022-12-23
相关资源
相似解决方案