Apache Spark 执行器数量答案

【问题标题】：Apache Spark number of executorsApache Spark 执行器数量
【发布时间】：2017-10-20 05:38:44
【问题描述】：

我在 databricks 上有 Spark 应用程序，在 32 个节点、每个 16 个内核和 30gb 内存的集群上运行它。我想更改一些会话配置，但无论我更改什么，我都不能让更多的执行者超过 32 个（如执行者页面 spark ui 所示）？这些配置我已经改变：

spark.executor.instances
spark.executor.memory 
spark.executor.cores

正如我所读，并发任务的最大数量应该是 5，所以我想让每个节点有 4 个执行器，每个使用 4 个核心......执行器的总数 - 128。我该怎么做？

亲切的问候，斯蒂芬

【问题讨论】：

【解决方案1】：

对于最新版本的Spark构建，我们可以设置参数：--executor-cores和--total-executor-cores。总执行人为total-executor-cores/executor-cores

试试这个：

spark-submit  --executor-memory 4g --executor-cores 4 --total-executor-cores 512

【讨论】：