第12课:spark高可用(HA)框架

worker管理资源:内存,cpu

只有standby模式的master变成active模式时才能想集群提交任务,master切换过程不会影响程序的运行

原因:程序在具体运行之前已经向集群申请过资源,这些资源已经提交给driver了,也就是说已经分配好资源了,这是粗粒度分配,一次性分配资源后不需要再关心资源分配,在运行时让executor和driver自动交互,弊端是如果资源分配太多,任务运行完不会很快释放,造成资源浪费

细粒度:任务提交太慢

安装好zookeeper查看任务运行情况

相关文章:

  • 2021-12-04
  • 2021-09-02
  • 2021-09-28
  • 2021-09-15
  • 2021-07-18
  • 2022-01-20
  • 2021-11-19
猜你喜欢
  • 2021-06-10
  • 2021-06-07
  • 2022-12-23
  • 2021-11-28
  • 2021-04-20
  • 2022-12-23
  • 2021-06-25
相关资源
相似解决方案