不多说,直接上干货!

 

 

 

 

 

Spark基本运行流程

  Application program的组成

      Spark基本运行流程

Job : 包含多个Task 组成的并行计算,跟Spark action对应。

Stage : Job 的调度单位,对应于TaskSet 。

TaskSet :一组关联的、相互之间没有shuffle 依赖关系的任务组成的任务集。

Task : 被送到某个executor 上的工作单元

 

 

 

 

 

Spark 运行流程概述

            Spark基本运行流程

 

 

 

 

 

 

 Spark具体流程(以standalone模式为例)

          Spark基本运行流程

 

 

 

 

Spark基本运行流程

 

相关文章:

  • 2021-06-08
  • 2021-09-14
  • 2022-01-03
  • 2021-04-08
  • 2021-10-22
  • 2021-09-28
猜你喜欢
  • 2021-11-01
  • 2021-05-13
  • 2021-12-13
  • 2021-05-15
  • 2021-10-04
相关资源
相似解决方案