spark Cluster Mode
1、SparkContext 和cluster manager(standalone、yarn等)建立连接,给APP分配资源
2、获得executor
3、发送jar给executor
4、sparkContext发送task给executor
note:
1、每个application都是独立的,driver端调度task,executor端task运行在不同的jvm上

术语

Term meaning
Task 发送到executor的work
Job spark action(e.g. save, collect)中并行计算的产物
Stage 每个job divided成的 一组tasks,stages互相依赖

spark 官方 cluster 介绍

相关文章:

  • 2021-12-29
  • 2021-07-06
  • 2021-09-18
  • 2021-06-01
  • 2021-12-12
  • 2022-01-13
  • 2021-12-12
猜你喜欢
  • 2021-05-14
  • 2021-08-27
  • 2021-06-01
  • 2021-07-12
  • 2021-12-09
  • 2021-10-09
相关资源
相似解决方案