为什么 Spark 检测到 8 个内核，而我只有 4 个内核？答案

【问题标题】：Why is Spark detecting 8 cores, when I only have 4?为什么 Spark 检测到 8 个内核，而我只有 4 个内核？
【发布时间】：2023-03-28 19:55:02
【问题描述】：

我在一台机器上设置了一个 Apache Spark 1.6.1 独立集群，具有以下规格：

我没有设置任何东西，所以 Spark 可以采用默认值，对于核心来说是“所有可用核心”，基于此，问题是：

为什么 Spark 检测到 8 个内核，而我只有 4 个内核？

【问题讨论】：

您是否启用了超线程？这是您的处理器上可用的一项功能，基本上允许每个内核充当两个内核。那将是我的第一个猜测。尝试在 bios 中关闭和打开超线程，看看内核数量是否发生变化。
谢谢！超线程主题也有助于补充下面给出的答案。

【解决方案1】：

我假设设置all available cores 意味着Spark 也在使用Virtual cores

而且由于您的 CPU 确实支持超线程，因此它有 8 个可用的虚拟内核。

如果您只想使用物理内核，我假设有一个特定的设置。

【讨论】：