spark任务执行过程如下图
spark任务执行过程&spark与yarn的对比

Yarn和Spark的StandAlone调度模式对比

ResouceManager Master 管理子节点、资源调度、接收任务请求
NodeManger Worker 管理当前节点,并管理子进程
YarnChild Executor 运行真正的计算逻辑的(Task)
Client SparkSubmit (Client + ApplicaitonMaster)提交app,管理该任务的Executor
ApplicaitonMaster 并将Task提交到(Executor)


相关文章:

  • 2021-09-25
  • 2021-08-02
  • 2021-11-01
  • 2021-12-17
  • 2021-06-11
  • 2022-12-23
  • 2021-11-02
猜你喜欢
  • 2021-12-04
  • 2021-06-29
  • 2021-06-17
  • 2021-05-04
  • 2021-04-07
  • 2022-12-23
相关资源
相似解决方案