驱动程序使用的 Spark 内核数

Question

在集群模式下，我可以使用 spark.driver.cores 为驱动程序设置内核数。但是在客户端和驱动程序本地模式的情况下使用多少个内核

Answer 1

如果您使用 master local[*] 在本地运行您的应用程序，这里 * 提到他们将使用您本地系统中的所有空闲内核，如果您使用的是 local[n]，这里 n 是您想要的内核数在您的应用程序中使用。它是您的应用程序在本地模式下使用的核心，因为当您在本地驱动程序中运行应用程序时，执行器会在单个 JVM 中启动。