YARN Running applications 页面中的“Allocated CPU VCores”与 Spark UI Executors 选项卡中的“Cores”存在差异答案

【问题标题】：Discrepancy in "Allocated CPU VCores" in YARN Running applications page and "Cores" in Spark UI Executors tabYARN Running applications 页面中的“Allocated CPU VCores”与 Spark UI Executors 选项卡中的“Cores”存在差异
【发布时间】：2021-09-25 19:04:22
【问题描述】：

我在 Spark 2.3 上运行 spark 应用程序，spark.executor.cores 为 25

YARN Running applications 页面中的“Allocated CPU VCores”显示 2 个 VCores（1 个用于驱动程序，1 个用于执行程序）

Spark UI Executors 选项卡中的“Cores”显示 25 个。我也可以在阶段看到 25 个并行任务

想知道为什么 Yarn 运行应用程序页面显示误导性的 2 个 VCore。这是一个已知的错误吗？

【问题讨论】：

标签： apache-spark hadoop-yarn

【解决方案1】：

我确实在 HDP 上看到了一个错误：https://jira.pnda.io/browse/PNDA-4006。此错误在 HDP 2.6.5.0-292 中发现

【讨论】：