MapReduce 计算流程(重点)

(1)程序员所编写的MR代码,一旦运行就可以称之为一个Job

(2)Job在启动之后,会首先向RM注册相关信息

(3)如果注册通过 则向共享文件系统(HDFS)拷贝先关资源的信息

(4)提交完成的Job信息给RM

(5)拿到Job信息,根据Job的情况,消耗资源连接到某个节点的上NodeManager去启动MR AppMaster

(6)MR AppMaster 首先会初始化Job

(7)去共享文件系统中获取输入切片相关的信息

(8)MR AppMaster向RM申请资源去进行计算

(9)拿到资源后,连接到某个NodeManager去启动Yarn Child

(10)Yarn Child去共享文件系统获取完成的Job信息

(11)Yarn Child根据任务阶段启动MapTask或者ReduceTask进程进行真正的计算任务的执行,直至计算任务完成,此两个进程完全关闭,客户端停止等待,结束运行。

MapReduce 计算流程(重点)

相关文章:

  • 2021-04-05
  • 2021-10-11
  • 2022-01-24
  • 2022-12-23
  • 2021-12-03
  • 2022-01-19
  • 2021-06-29
猜你喜欢
  • 2022-12-23
  • 2021-12-20
  • 2021-06-23
  • 2021-11-12
  • 2021-07-09
  • 2021-10-21
  • 2021-09-15
相关资源
相似解决方案