Apache Spark 独立模式：核心数

Question

我正在尝试了解 Spark 内部结构的基础知识，以及用于在本地模式下提交应用程序的 Spark 文档说 spark-submit --master 设置：

local[K] 使用 K 个工作线程在本地运行 Spark（理想情况下，将其设置为 您机器上的内核数）。

local[*] 在本地运行 Spark 与机器上的逻辑核心一样多的工作线程。

由于所有数据都存储在一台本地机器上，它不会从RDDs 上的分布式操作中受益。

当 Spark 利用多个逻辑内核时，它有什么好处以及内部发生了什么？

Answer 1

系统会分配额外的线程来处理数据。尽管仅限于一台机器，但它仍然可以利用现代服务器中可用的高度并行性。

如果您有一个合理大小的数据集，比如说有十几个分区，您可以测量使用 local[1] 与 local[n] 所需的时间（其中 n 是您机器中的内核数）。您还可以看到机器利用率的差异。如果您只指定使用一个核心，它将仅使用一个核心的 100%（加上一些额外的垃圾收集）。如果您有 4 个核心，并指定 local[4]，它将使用 400% 的核心（4 个核心）。并且可以显着缩短执行时间（尽管通常不会缩短 4 倍）。