YARN 集群在分配任务时,存在两种方式

1. DefaultResourceCalculator,只考虑内存(memory),每个 container 的 cpu 资源都分配 1 个。

2. DominantResourceCalculator,同时考虑内存(memory)和 cpu 资源。

在 AWS 的 EMR 中,默认使用的是 DefaultResourceCalculator,所以看到一个 application 的 running containers 数量等于 allocated CPU Vcores 数量,可根据自己的需求设置。

更常用的是 DominantResourceCalculator

 

参考文章:

https://hortonworks.com/blog/managing-cpu-resources-in-your-hadoop-yarn-clusters/

https://lists.apache.org/thread.html/%3CCACj_Czdski0xp8tP5U4Ydai-XqHrMsOV24-_HA+jVGXb2Of3cw@mail.gmail.com%3E

 

相关文章:

  • 2021-05-18
  • 2022-12-23
  • 2021-06-23
  • 2021-07-15
  • 2021-09-25
  • 2021-10-24
  • 2021-08-17
  • 2022-12-23
猜你喜欢
  • 2021-06-07
  • 2021-11-24
  • 2021-11-17
  • 2021-10-02
  • 2021-09-06
  • 2021-07-24
相关资源
相似解决方案