以下配置运行了多少个 spark 执行器，我该如何调整它。？答案

【问题标题】：how many spark execturos runs for the below configuration and how can i tune it.?以下配置运行了多少个 spark 执行器，我该如何调整它。？
【发布时间】：2015-12-19 07:03:49
【问题描述】：

我正在使用 spark 独立集群，以下是我的 spark-env 属性。

export SPARK_EXECUTOR_INSTANCES=432
export SPARK_EXECUTOR_CORES=24
export SPARK_EXECUTOR_MEMORY=36G
export SPARK_DRIVER_MEMORY=24G

我有 6 个工作节点，如果我尝试运行具有大量文件和连接的作业，它会卡住并失败。我可以看到 6 个 24GB 的作业执行者。

您能否提供任何链接或详细信息来调整它并了解工作节点和执行程序的概念。我提到了一篇 cloudera 博客，但更多的是关于纱线。但是，我需要它用于 spark 独立集群

【问题讨论】：

标签： apache-spark

【解决方案1】：

您好，我遇到了和您类似的问题，您可以参考下面的文章，我在阅读了很多调优文章后已将其添加为书签。希望对您有所帮助。

【讨论】：