转载来自https://blog.csdn.net/qq_42694416/article/details/83998578

MR JOB提交到Yarn的工作流程Yarn的架构设计Yarn的工作流程(属于同种说法)
工作流程图:

mapreduce job在yarn上的工作流程

1、用户向Yarn的RM提交应用程序,其中包括ApplicationMaster程序(应用程序的主程序),启动ApplicationMaster命令等。将作业提交到RM 中的ApplicationsManager中。
2、RM首先为该app程序分配第一个container容器,并与对应的NM通信(RPC通信),要求NM在这个container中启动应用程序的application master
3、App master首先向Apps manager注册,这样的话,我们就可以通过web 8088,查看应用程序的运行状态,且监控它的运行状态
4、ApplicationMaster向Resource Scheduler申请和领取资源
5、一旦ApplicationMaster申请到资源后,便与对应的NM通信(RPC通信),要求它启动任务,可能在不止一个节点上启动
6、NM节点启动container容器,运行task任务
7、各个容器的任务,通过rpc向app master汇报自己的状态和进度,以让APP master随时掌握各个任务的运行状态,从而在任务失败时重启任务。那么用户可以通过web界面实时查看应用的当前运行状态
8、app运行完成后,app master向 apps manager注销并关闭
**总结:**当用户向Yarn中提交一个应用程序,分为2阶段: a. 启动app master 1,2 b. app master申请资源 运行任务 结束任务 3-8
 

相关文章:

  • 2021-11-04
  • 2021-04-28
  • 2021-08-06
  • 2021-05-07
  • 2021-07-14
  • 2021-07-05
  • 2021-05-27
  • 2021-11-14
猜你喜欢
  • 2021-08-11
  • 2021-12-21
  • 2022-01-07
  • 2022-01-08
  • 2021-10-26
  • 2021-08-02
相关资源
相似解决方案