130、Spark核心编程进阶之yarn-cluster模式原理
yarn-cluster模式原理.png

yarn-cluster与yarn-client唯一的不同
yarn-client下,driver运行在spark-submit提交的机器上,ApplicationMaster只是相当于一个ExecutorLauncher,仅仅负责申请启动executor;具体负责调度的,还是driver
yarn-cluster下,ApplicationMaster是driver;具体负责调度的,也是ApplicationMaster

yarn-client下,driver所在机器可能跟yarn集群不在一起,所以性能可能比较差
yarn-cluster下,driver(AM)就在yarn集群中,进行复杂调度的时候,网络通信性能较好

yarn-client用于在测试环境中,进行测试,方便你看日志
yarn-cluster推荐作业部署上线运行时使用,性能比较好

相关文章:

  • 2021-07-24
  • 2021-08-13
  • 2022-12-23
  • 2021-10-07
  • 2021-05-28
  • 2021-07-31
  • 2022-12-23
  • 2022-03-09
猜你喜欢
  • 2021-10-27
  • 2021-10-12
  • 2021-06-25
  • 2021-08-26
  • 2021-12-04
  • 2021-11-03
  • 2021-04-03
相关资源
相似解决方案