CPU vCores 和 spark executor-cores 之间的关系

Question

我正在启动一个具有 m5.xlarge 核心节点的 EMR 集群，如下所示：

4 vCore, 16 GiB memory, EBS only storage
EBS Storage:200 GiB

我不确定我是否运行 Spark 作业并设置 executor-core 参数，例如 2。这是否与我的 m5.xlarge 实例中的 vCores 完全相同？

Answer 1

每个执行器的核心将在您的集群中使用一个 vCore，因此创建 4 个每个 1 个核心的执行器或 2 个每个 2 个核心的执行器或 1 个 4 个核心的执行器。尽情享受吧！

Answer 2

对于大多数实例，AWS 将 1 个核心定义为 1 个 vCPU。我相信这和vCore是一样的

““每个 vCPU 都是 Intel Xeon 内核的超线程，T2 除外。”

换句话说，对于 T2 实例，1 个 vCPU = 1 个物理内核。对于所有其他人，1 个 vCPU = 1 个逻辑核心。当涉及到多线程、突发 CPU 使用率时，这可能会导致显着的性能差异。”

参考：https://www.credera.com/insights/whats-in-a-vcpu-state-of-amazon-ec2-in-2018#:~:text=%E2%80%9CEach%20vCPU%20is%20a%20hyper,%2Dthreaded%2C%20burst%20CPU%20usage。