yarn-cluster和yarn-client方式的区别:

yarn-cluster的ApplicationMaster在任一一台NodeManager上启动,申请启动的Executor反向注册到AM所在的NodeManager,

而yarn-client方式的用ExecutorLancher替代AM,ExecutorLancher的作用很有限,它向RM申请一批container启动Executor,

而启动的Executor反向注册到提交任务的机器上的driver进程

具体的流程细节参照下面的流程图

建议:

调试的情况下可以使用yarn-client方式,可以直接在控制台查看日志,yarn-cluster方式查看日志的话还需要用yarn application -logs applicationid这种方式
spark 提交任务方式(spark-yarn和spark-client)

相关文章:

  • 2021-05-18
  • 2021-07-29
  • 2021-12-13
  • 2021-11-02
  • 2021-10-28
  • 2022-12-23
  • 2021-11-06
猜你喜欢
  • 2022-12-23
  • 2021-09-07
  • 2021-09-08
  • 2021-07-31
  • 2021-11-27
相关资源
相似解决方案