129、Spark核心编程进阶之yarn-client模式原理

129、Spark核心编程进阶之yarn-client模式原理
yarn-client模式原理.png
  1. driver在本机启动
  2. driver跟cluster manager申请资源，yarn-client，ResourceManager
  3. RM分配一个container资源，在一个NM上，启动AM（ExecutorLauncher）
  4. AM会找RM去申请资源，启动executor进程
  5. RM会分配container给AM，然后AM会拿着container去找对应的NM，去启动executor进程
  6. driver就可以给executor进程分配task，执行作业

相关文章：

  • 2021-09-21
  • 2021-12-25
  • 2021-05-28
  • 2022-12-23
  • 2021-07-31
  • 2021-11-16
  • 2021-04-26
猜你喜欢
  • 2021-09-09
  • 2021-10-12
  • 2021-06-25
  • 2021-08-26
  • 2021-11-03
  • 2021-07-24
  • 2021-08-13
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode