1.客户端向ResourceManagement 提交 运行的请求 (hadoop jar xxxx.jar)

2.ResourceManager进行检查,没有问题的时候,向客户端返回一个共享资源的路径以及JobId

3.客户端HDFS提交资源,将共享资源放入共享路径下:(/tmp/hadoop-yarn/staging-dir/xxxxxxxx)

4.客户端ResourceManager反馈共享资源放置完毕,进行job的正式提交

5.ResourceManager为这个job分配一个节点,并在这个节点上启动MRAppMaster任务

6.ResourceManager到对应的节点上去启动container容器用于装载MRAppMaster

7.MRAppMaster对job进行初始化,生成一个job工作簿,job的工作簿记录着maptask和reduce的运行进度和状态

8.MRAppMasterResourceManager申请maptaskreducetask的运行的资源,先发maptask然后发reducetask

9.ResourceManagerMRAppMaster返回maptaskreduce的资源节点

YARN的job提交流程

 

YARN的job提交流程

 

 

 

相关文章:

  • 2022-01-06
  • 2021-10-10
  • 2021-11-05
  • 2021-07-09
  • 2021-07-03
  • 2021-11-12
  • 2021-04-24
  • 2021-08-18
猜你喜欢
  • 2021-07-05
  • 2021-05-27
  • 2021-12-21
  • 2021-10-26
  • 2021-12-07
  • 2021-08-02
相关资源
相似解决方案