为什么 spark num-executors 不等于 yarn 容器？答案

【问题标题】：Why spark num-executors is not equal to yarn containers?为什么 spark num-executors 不等于 yarn 容器？
【发布时间】：2019-04-03 01:10:10
【问题描述】：

根据 [Spark on YARN resource manager: Relation between YARN Containers and Spark Executors，纱线容器的数量应该等于 spark 应用程序的 num-executors。但是，我确实在运行中看到 Spark-UI 环境选项卡中显示的 num-executors 为 60，但 yarn 中显示的容器数量仅为 37。我使用的是 spark 2.2，并且 spark.dynamicAllocation.enabled 设置为 false。我使用了 Azure-HDinsight 集群。任何人都可以解释这个吗？

【问题讨论】：

它还依赖于您的资源（cpu 核心和内存）

标签： azure apache-spark hadoop-yarn

【解决方案1】：

Spark-UI 还显示了一些终止的执行程序。它们可能已被 Spark 动态执行删除或通过 YARN 抢占。您通常可以判断 executors 是否还活着。

它们不同的另一个原因是 Spark 驱动程序。在“纱线集群”模式下，驱动程序也占用一个纱线容器。因此，在这种情况下，您也会看到 +1 容器差异。

【讨论】：